许式伟的架构课
许式伟
七牛云 CEO
84945 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 89 讲
许式伟的架构课
15
15
1.0x
00:00/00:00
登录|注册

09 | 外存管理与文件系统

文件系统设计思路相似
随机读写型存储的文件系统
随机只读型存储的文件系统
每个节点有自身信息和操作日志
节点可以是目录或文件
数据组织成树状结构
应用场景:普遍应用
应用场景:资料分发和归档
应用场景:归档
推荐研究BPL语言
外存管理相对简单,文件系统设计复杂
缺页频繁时的影响
UNIX和Windows操作系统的实现方式
操作系统利用外存进行淘汰
路径冲突的避免和利用
进程可以互不影响地使用外置存储设备
输入输出设备接口统一为文件
编程语言封装的功能
操作系统提供的命令行工具
文件系统种类
文件系统的来源
随机读写型
随机只读型
顺序读写型
结语
虚拟内存的支持
外存的使用接口
外存的数据格式
外存的分类
外存管理与文件系统

该思维导图由 AI 生成,仅供参考

你好,我是七牛云许式伟。
在 “07 | 软件运行机制及内存管理”中,我们已经聊了内存管理,这一讲我们聊聊外置存储设备的管理。

外存的分类

计算机有非常多样化的外置存储设备,比如:磁带、光盘、硬盘、U 盘、SSD 等等。外置存储设备的种类是不可穷尽的。随着科技的发展,新的存储设备会不断涌现,有着更低的单位能耗(存储量 / 每日能源消耗成本),更低的单位存储成本(存储量 / 可存储的时间 / 设备价格),或者更高的访问性能。
但不管这些存储设备内部如何存储数据的原理怎么变,改变的主要是质量,而不是它的功能。对操作系统来说,管理它们的方式是非常一致的。这些外置存储设备依据其功能特性不同,简单可以分为如下三类。
顺序读写型。如:磁带。
随机只读型。更准确说是单次完整写入多次读取型,也就是每次写数据都是整个存储介质一次性完整写入数据。如:光盘(含可擦写光盘)。
随机读写型。如:软盘、硬盘、U 盘、SSD 等等。
顺序读写型的外置存储(如磁带)我们日常并不常见,它的主要应用场景是归档,也就是数据备份。今天我们略过不提。
随机只读型的外置存储(如光盘)我们日常有较多应用,常见的应用场景是资料分发和归档。资料发布的内容很广泛,比如:软件、娱乐媒体包括电影、MTV、音乐等等。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

外置存储设备管理和文件系统是计算机系统中重要的组成部分。本文介绍了外置存储设备的种类和功能特性,以及文件系统的组织结构和不同类型存储设备所使用的文件系统。此外,还介绍了操作系统提供的管理工具和系统调用,以及虚拟内存的支持。文章强调了文件系统的设计复杂性,以及推荐了一个用于分析二进制数据格式的开源工具BPL语言。总的来说,本文深入探讨了外置存储设备管理和文件系统的技术细节,对于想要深入了解该领域的读者具有重要的参考价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《许式伟的架构课》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(50)

  • 最新
  • 精选
  • Enthusiasm
    关于外存管理,有个问题从之前就困扰我:磁盘的IO是由CPU完成的吗?但之前见到的说法是“CPU只能操作内存”。既然今天又提到了这个问题,文中提到“大量的磁盘 IO 操作,非常占用 CPU 时间”,那这两种说法是否矛盾?还想知道磁盘中的数据是怎么被加载到内存上来的呢?另外,更多的文章是说,“CPU的速度远远大于磁盘IO,CPU经常需要‘等待’磁盘IO”,这明显也是一种将CPU和外存割舍开的一种说法,而且按这种说法,CPU不光无需分配很多时间片给IO,而且还有很多“等待”时间。这也和本文中“非常占用CPU时间”相矛盾吧?

    作者回复: 所有外设cpu都统一基于数据交换(io)的方式操作。cpu并不知道数据的含义,但是设备的使用方和设备知道。这种情况下你可以简单理解cpu只是一根网线,但是很重要的一点是它让设备使用方和设备可以交互。cpu并不负责磁盘io,但是它要等它结束以接收数据。这方面当然也有一些新技术出现改善这一点,可以想一想可能的优化路径,这里不表。

    2019-05-14
    8
    17
  • 开放(深度学习学者)
    太简单了感觉,基本没有怎么说清楚,第一硬盘存储其中一个文件他是怎么存放的数据块和元数据是怎么结构,inode是什么,还有数据和元数据的索引表,甚至作为文件系统ext3的多层表索引和12个直接链接,一个单层,和多层索引等等都没说,文件系统的整体架构,特别是到底怎么优化等等也没说,还有虚拟内存,具体程序段怎么映射到物理内存,空余内存怎么管理,虚链表,对应的两难性能问题怎么解决?

    作者回复: 文件系统主要我觉得从架构上理解比较容易,所以没有特别交代太多。可能后面 review 的时候会适当重构一下这一篇。

    2019-05-27
    4
    14
  • 陈光
    老师,能否简单介绍一下基于内存的数据结构和基于外存的数据结构有何不同?我们平时所说的“数据结构和算法”是不是偏向于内存?另外,“路径冲突”是不是指多个进程同时访问同一个文件?

    作者回复: 1、外存的数据结构的特征是io是很费时的操作,所以外存数据结构+算法的优化方向是减少io次数,这个和内存很不一样。 2、平常数据结构大部分是内存;但一般数据结构书最后有几章会谈到外存数据结构+算法。 3、是的。

    2019-05-14
    12
  • Liber
    许老师,把你的知识掌握了去七牛应聘会不会so easy?

    作者回复: 真掌握了去哪里都easy ^_^

    2019-09-28
    9
  • 大糖果
    老师好,有个问题,就是关于Windows自带的文件搜索,我们都知道那东西很慢,但是有一款everything的软件却可以做到很快,微软的技术是不用质疑的,他们为什么不把这个文件搜索做快点呢?还是这样的软件会有别的损耗?

    作者回复: 确实不一样,一个有建立搜索的索引,有额外的存储成本;一个是遍历(挨家挨户问过去)。

    2019-05-14
    3
    9
  • 花儿与少年
    怎么越来越像计算机组成原理了。希望更多的软件架构知识

    作者回复: 第一章会更偏基础体系,结合体系谈架构

    2019-05-17
    2
    5
  • 张sir
    许老师,我有两个疑问, 1.如果操作系统的swap占用过高,会直接影响cpu性能吗。2.路径的冲突检查机制,是不是就是像mysql服务那样,当服务运行起来后,就会创建xxx.pid文件保存进程的pid,来保证进程的互斥

    作者回复: 1、会,swap访问越频繁,cpu呈现出来的性能越低,其实是因为访问存储的速度低,数据读写速度低,纯粹的计算是不影响的,但是这个世界没有脱离存储的计算。所有的计算你可以想象成从存储读出来数据,进行纯粹的计算得到结果,然后再把结果写回存储中去。所以计算的性能和存储性能密切相关。2、对的,这是非常常见的一种互斥手法。

    2019-07-13
    2
    4
  • eletarior
    看回复 ,很多人和我一样,对"Unix的一切皆是文件不是最佳实践"这个论点,有困惑.如果在图形界面时代的一切皆文件这样的架构设计不再适宜,为何类unix的设计者不改变这种设计,或者说,从架构的角度说,这样的设计定型了,是不是就不好改了?本课的主题其实是外设的统一接口是文件系统,那么把外设都当做文件进行抽象化处理,不出很合适么?

    作者回复: 这种统一给我的感觉就像很多面向对象的类库,所有的类统一从Object类继承一样,是一个过度设计。

    2019-05-15
    2
    4
  • DaDo Wang
    想到了HDFS(Hadoop Distributed File System ),文中说的文件系统和HDFS应该不属于一个层吧?个人理解,HDFS应该全是更上层的应用软件层文件系统,它在外置存储的文件系统上,做了对分布式的文件进行管理的功能还请老师解答~😁

    作者回复: 不是一个层面,后面服务端开发部分会讨论分布式文件系统

    2019-05-15
    4
  • 82
    多个进程去访问修改相同的外存地址文件时,谁来控制并发修改是操作系统还是外设驱动程序? 如果提高外存的访问速度是否可以减少缺页的处理时间,进而一定程度缓解卡顿的情况?

    作者回复: 1、操作系统;2、对的,以前用机械硬盘作为swap,有时候慢比较显著;现在电脑基本上都用固态硬盘做swap,慢的感觉基本上完全消失了。

    2019-05-14
    4
收起评论
显示
设置
留言
50
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部