趣谈Linux操作系统
刘超
网易杭州研究院云计算技术部首席架构师
立即订阅
19298 人已学习
课程目录
已完结 72 讲
0/4登录后,你可以任选4讲全文学习。
入门准备篇 (3讲)
开篇词 | 为什么要学习Linux操作系统?
免费
01 | 入学测验:你究竟对Linux操作系统了解多少?
02 | 学习路径:爬过这六个陡坡,你就能对Linux了如指掌
核心原理篇:第一部分 Linux操作系统综述 (3讲)
03 | 你可以把Linux内核当成一家软件外包公司的老板
04 | 快速上手几个Linux命令:每家公司都有自己的黑话
05 | 学会几个系统调用:咱们公司能接哪些类型的项目?
核心原理篇:第二部分 系统初始化 (4讲)
06 | x86架构:有了开放的架构,才能打造开放的营商环境
07 | 从BIOS到bootloader:创业伊始,有活儿老板自己上
08 | 内核初始化:生意做大了就得成立公司
09 | 系统调用:公司成立好了就要开始接项目
核心原理篇:第三部分 进程管理 (10讲)
10 | 进程:公司接这么多项目,如何管?
11 | 线程:如何让复杂的项目并行执行?
12 | 进程数据结构(上):项目多了就需要项目管理系统
13 | 进程数据结构(中):项目多了就需要项目管理系统
14 | 进程数据结构(下):项目多了就需要项目管理系统
15 | 调度(上):如何制定项目管理流程?
16 | 调度(中):主动调度是如何发生的?
17 | 调度(下):抢占式调度是如何发生的?
18 | 进程的创建:如何发起一个新项目?
19 | 线程的创建:如何执行一个新子项目?
核心原理篇:第四部分 内存管理 (7讲)
20 | 内存管理(上):为客户保密,规划进程内存空间布局
21 | 内存管理(下):为客户保密,项目组独享会议室封闭开发
22 | 进程空间管理:项目组还可以自行布置会议室
23 | 物理内存管理(上):会议室管理员如何分配会议室?
24 | 物理内存管理(下):会议室管理员如何分配会议室?
25 | 用户态内存映射:如何找到正确的会议室?
26 | 内核态内存映射:如何找到正确的会议室?
核心原理篇:第五部分 文件系统 (4讲)
27 | 文件系统:项目成果要归档,我们就需要档案库
28 | 硬盘文件系统:如何最合理地组织档案库的文档?
29 | 虚拟文件系统:文件多了就需要档案管理系统
30 | 文件缓存:常用文档应该放在触手可得的地方
核心原理篇:第六部分 输入输出系统 (5讲)
31 | 输入与输出:如何建立售前售后生态体系?
32 | 字符设备(上):如何建立直销模式?
33 | 字符设备(下):如何建立直销模式?
34 | 块设备(上):如何建立代理商销售模式?
35 | 块设备(下):如何建立代理商销售模式?
核心原理篇:第七部分 进程间通信 (7讲)
36 | 进程间通信:遇到大项目需要项目组之间的合作才行
37 | 信号(上):项目组A完成了,如何及时通知项目组B?
38 | 信号(下):项目组A完成了,如何及时通知项目组B?
39 | 管道:项目组A完成了,如何交接给项目组B?
40 | IPC(上):不同项目组之间抢资源,如何协调?
41 | IPC(中):不同项目组之间抢资源,如何协调?
42 | IPC(下):不同项目组之间抢资源,如何协调?
核心原理篇:第八部分 网络系统 (7讲)
43 预习 | Socket通信之网络协议基本原理
43 | Socket通信:遇上特大项目,要学会和其他公司合作
44 | Socket内核数据结构:如何成立特大项目合作部?
45 | 发送网络包(上):如何表达我们想让合作伙伴做什么?
46 | 发送网络包(下):如何表达我们想让合作伙伴做什么?
47 | 接收网络包(上):如何搞明白合作伙伴让我们做什么?
48 | 接收网络包(下):如何搞明白合作伙伴让我们做什么?
核心原理篇:第九部分 虚拟化 (7讲)
49 | 虚拟机:如何成立子公司,让公司变集团?
50 | 计算虚拟化之CPU(上):如何复用集团的人力资源?
51 | 计算虚拟化之CPU(下):如何复用集团的人力资源?
52 | 计算虚拟化之内存:如何建立独立的办公室?
53 | 存储虚拟化(上):如何建立自己保管的单独档案库?
54 | 存储虚拟化(下):如何建立自己保管的单独档案库?
55 | 网络虚拟化:如何成立独立的合作部?
核心原理篇:第十部分 容器化 (4讲)
56 | 容器:大公司为保持创新,鼓励内部创业
57 | Namespace技术:内部创业公司应该独立运营
58 | CGroup技术:内部创业公司应该独立核算成本
59 | 数据中心操作系统:上市敲钟
实战串讲篇 (9讲)
60 | 搭建操作系统实验环境(上):授人以鱼不如授人以渔
61 | 搭建操作系统实验环境(下):授人以鱼不如授人以渔
62 | 知识串讲:用一个创业故事串起操作系统原理(一)
63 | 知识串讲:用一个创业故事串起操作系统原理(二)
64 | 知识串讲:用一个创业故事串起操作系统原理(三)
65 | 知识串讲:用一个创业故事串起操作系统原理(四)
66 | 知识串讲:用一个创业故事串起操作系统原理(五)
67 | 期末测试:这些操作系统问题,你真的掌握了吗?
结束语 | 永远别轻视任何技术,也永远别轻视自己
免费
专栏加餐 (2讲)
学习攻略(一):学好操作系统,需要掌握哪些前置知识?
“趣谈Linux操作系统”食用指南
免费
趣谈Linux操作系统
登录|注册

28 | 硬盘文件系统:如何最合理地组织档案库的文档?

刘超 2019-05-31
上一节,我们按照图书馆的模式,规划了档案库,也即文件系统应该有的样子。这一节,我们将这个模式搬到硬盘上来看一看。
我们常见的硬盘是上面这幅图左边的样子,中间圆的部分是磁盘的盘片,右边的图是抽象出来的图。每一层里分多个磁道,每个磁道分多个扇区,每个扇区是 512 个字节。
文件系统就是安装在这样的硬盘之上。这一节我们重点目前 Linux 下最主流的文件系统格式——ext 系列的文件系统的格式。

inode 与块的存储

就像图书馆的书架都要分成大小相同的格子,硬盘也是一样的。硬盘分成相同大小的单元,我们称为(Block)。一块的大小是扇区大小的整数倍,默认是 4K。在格式化的时候,这个值是可以设定的。
一大块硬盘被分成了一个个小的块,用来存放文件的数据部分。这样一来,如果我们像存放一个文件,就不用给他分配一块连续的空间了。我们可以分散成一个个小块进行存放。这样就灵活得多,也比较容易添加、删除和插入数据。
但是这也带来一个新的问题,那就是文件的数据存放得太散,找起来就比较困难。有什么办法解决呢?我们是不是可以像图书馆那样,也设立一个索引区域,用来维护“某个文件分成几块、每一块在哪里“等等这些基本信息?
另外,文件还有元数据部分,例如名字、权限等,这就需要一个结构 inode 来存放。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《趣谈Linux操作系统》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(31)

  • why
    - 磁盘→盘片→磁道→扇区(每个 512 字节)
    - ext* 定义文件系统的格式
    - inode 与数据块
        - 硬盘分为大小相同的单元→块 ( block ), 大小 4K, 扇区的整数倍, 大小在格式化时可配置
        - 因此, 存放文件时不用分配连续的空间
        - 也因此要为文件建立块索引 + 元数据(名字, 权限, 所属) 信息, 存放于 inode 中
        - inode 还维护三个时间: i_atime 访问时间; i_ctime 更改 inode 时间; i_mtime 更改文件时间
        - 文件分为多个块, 每个块的位置存放在 inode 的 i_block 中, 共 15 项
            - ext2 和 ext3 中, 前 12 项保存块的位置, 若文件较大, 则第十三项指向间接块, 间接块存放剩余数据块的位置; 文件再大, 第 14 项指向两级间接块, 以此类推
            - 但上述, 大文件需要访问多个块才能读取到数据
            - ext4 引入 Extents 概念, 可以用于存放连续的数据块
            - Extents 是树形结构, 每个节点由一个头 ext4_extend_header 来描述节点
                - 节点有多个项, 对于叶子节点: 每项直接指向硬盘上的连续块的地址; 分支节点: 每项指向下一层节点
                - 文件不大: inode 可放下一个头 + 4 个数据项, eh_depth = 0 表示数据节点
                - 文件较大: 除了根节点(存于 inode.i_block 中) , 其他节点都存于一个块中, 4K 能存 340 项, 每项可放 128MB, 总 42.5GB
    - inode 位图与块位图
        - 要保存数据是, 应放在哪? 全扫一遍效率低
        - 用一个块保存 inode 位图, 每一位对应一个 inode, 1→被占用; 同样用一个块保存块位图
        - open 再空文件夹下创建文件: do_sys_open→...→lookup_open 再调用 dir_node→i_op_create(ext4_create) 创建文件夹 inode
            - 调用 ext4_create→...→__ext4_new_inode 读取 inode 位图, 找到下一个空闲 inode
            - 同样用块位图找空闲块
    - 文件系统格式
        - 一个位图只能表示 2^15 个数据块, 即 128MB
        - 一个 inode 位图 + 一个 block 位图, 称为块组, 用数据结构 ext4_group_desc 表示, 里面包含 inode 位图, block 位图和 inode 列表
        - 这些块组描述符构成列表, 另外用超级块 ext4_super_block 描述整个文件系统; 第一个块组前 1k 用于启动引导
        - 文件系统由引导块 + N 个块组组成; 每个块组由: 超级块 + 块组描述符表 + 块位图 + inode 位图 + inode 列表 + 数据块构成
        - 超级块和块组描述符表都是全局信息; 默认超级块和块组描述符表再灭个租客都有备份; 若开启 sparse_super, 则只在固定块组中备份
        - 采用 Meta Block Groups 特性, 避免块组表浪费空间, 或限制文件系统的大小
            - 将块组分成多个组(元块组) 块组描述符表只保存当前元块组中块组的信息, 并在元块组内备份
    - 目录存储格式
        - 目录也是文件, 也有 inode, inode 指向一个块, 块中保存各个文件信息, ext4_dir_entry 包括文件名和 inode, 默认按列表存
        - 第一项 "." 当前目录; 第二项 ".." 上一级目录
        - 可添加索引, 加快文件查找
            - 需要改变目录块格式, 加入索引树: 用索引项 dx_entry 保存文件名哈希和块的映射, 若该块不是索引, 则里面保存 ext4_dir_enry 列表, 逐项查找
    - 软连接/硬链接的存储
        - 链接即文件的别名: ln -s 创建软链接; ln 创建硬链接
        - 硬链接与原始文件共用一个 inode, 但不能跨文件系统
        - 软链接是一个文件, 有自己的 inode, 该文件内容指向另一个文件, 可跨文件系统
    2019-06-03
    13
  • Orcsir
    >>每个 extent 最大能表示 128MB 的数据。
    疑问:ee_len大小为16bit,最大能表示2^16 - 1,如果块大小为4K,则一个extent能表示256MB
    解惑:ee_len为一个16bit的无符号整数,但是其最高位在预分配特性中用来标识这个extent是否被初始化过了,所有ee_len中可用的位为15bit,最大可表示2^15个连续的块,如果块大小为4K,则一个extent最大能表示128MB

    作者回复: 赞

    2019-06-10
    7
  • W.jyao
    每篇文章有点收获就可以

    作者回复: 是的是的

    2019-06-01
    1
    4
  • 啦啦啦
    别人的课程是一天能看好几节课,刘老师的课是好几天看一篇,哈哈
    2019-09-16
    3
  • Leon📷
    老师,Exents的存储结构的树是红黑树吧

    作者回复: 这个不是的,这个是硬盘上的。

    2019-06-01
    2
  • Mr.差不多
    老师,您好。相同的文件夹在不同Linux机器上用ls -U得到的顺序也不一样。这是什么原因呢?文件系统如何确定文件夹中不同文件iNode的存储顺序的?

    作者回复: 创建的顺序也不一样呀。ls没有访问文件的Inode,仅仅访问了文件夹的内容

    2019-05-31
    2
  • 江山未
    看完已经不认识"块"这个字了

    作者回复: 块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块块,哈哈哈

    2019-08-05
    1
  • 嘉木
    每次ls的时候,文件夹大小都显示4096,原来是一个块的大小,4k
    vim 文件夹 能看到文件夹下的文件列表

    作者回复: 对的

    2019-07-13
    1
  • 刘強
    为了让人能够保持吃饭、睡觉、思考、劳动这个简单的抽象,需要如此复杂的人体组织结构来支撑。
    2019-06-01
    1
  • Sharry
    前几天刚在虹桥关注到这个厕位导航系统, 结果今天就在课上看到了, 有趣有趣!!

    作者回复: 我当时看了,也是灵机一动

    2019-05-31
    1
  • 陈志恒
    摘抄:无论是文件夹还是文件,都有一个 inode。inode 里面会指向数据块,对于文件夹的数据块,里面是一个表,是下一层的文件名和 inode 的对应关系,文件的数据块里面存放的才是真正的数据。
    2019-11-25
  • 码农Kevin亮
    请问老师:
    1, iops中的每次io操作最大读取的字节数一般是多少呢?
    2, 如果一段连续存储的数据,是不是就可以通过一次io就读完呢?
    3, 用户态又怎么保证保存数据时效率是最高的呢?
    2019-11-19
  • extraterrestrial!!
    硬链接既然inode是相同的,那么创建硬链接文件系统做了啥工作呢?
    2019-11-15
  • darren
    老师,我还有个问题:不管软链接还是硬链接,对于跨磁盘是怎么存储的?会存储硬盘相关信息吗?比如我的服务器有三块硬盘1.2.3,每块硬盘一个区,系统在硬盘1里面。现在我有一个软链接和一个硬链接由硬盘1里面的文件指向硬盘2里面的文件。现由于主板硬盘2的插槽损坏,将硬盘3取下不用了,将硬盘2移动到原硬盘3对应的插槽上。原来的两个链接还有效吗?系统是怎么处理这类情况的。
    2019-11-06
  • darren
    老师,有几个疑惑的地方,希望解答:1.是不是整个文件系统的根目录的inode是在一个固定的地方,每次查找一个绝对路径文件都是从根目录开始的。2.每个块组里面的inode是存放在inode位图块后面的一个list。这个list长度是固定的吗?因为如果不是固定的,那个inode位图某一位对应的就可能是数据块,而不是inode了,创建新的inode就可能覆盖数据。如果是固定的,那么如果inode少的时候是不是完成空间浪费?3.一个exents中的节点项是否可以指向另一个不同元块组中的节点4.目录里面使用索引的时候,如果不同的inode哈希值都不一样,岂不是会白白占用很多块来存储inode,每个块就一个inode列表,空间浪费极大?
    2019-11-06
  • 路道有贵
    上级目录应该是2个点吧?..
    2019-10-19
  • inode中并不包含文件名。
    2019-10-06
  • 小智e
    还是不太理解 ext4 的 extends 特性,是文件的数据就存在 extends 的叶子结点中吗?extends 是如何提高文件读取效率的?还有请老师和各位同仁赐教。
    2019-09-17
  • 小智e
    最近要面试,来温习一遍,收获很大。极客时间的专栏,满满看,多思考,都能有额外的收获。
    2019-09-16
  • 赵国辉
    老是,麻烦解惑一下,会出现一个文件的inode在一个块组中,而其数据块在另一个块组中吗?

    作者回复: 在同一个块组中

    2019-08-27
    1
收起评论
31
返回
顶部