Linux性能优化实战
倪朋飞
微软资深工程师,Kubernetes项目维护者
立即订阅
23395 人已学习
课程目录
已完结 64 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (2讲)
开篇词 | 别再让Linux性能问题成为你的绊脚石
免费
01 | 如何学习Linux性能优化?
CPU 性能篇 (13讲)
02 | 基础篇:到底应该怎么理解“平均负载”?
03 | 基础篇:经常说的 CPU 上下文切换是什么意思?(上)
04 | 基础篇:经常说的 CPU 上下文切换是什么意思?(下)
05 | 基础篇:某个应用的CPU使用率居然达到100%,我该怎么办?
06 | 案例篇:系统的 CPU 使用率很高,但为啥却找不到高 CPU 的应用?
07 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(上)
08 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(下)
09 | 基础篇:怎么理解Linux软中断?
10 | 案例篇:系统的软中断CPU使用率升高,我该怎么办?
11 | 套路篇:如何迅速分析出系统CPU的瓶颈在哪里?
12 | 套路篇:CPU 性能优化的几个思路
13 | 答疑(一):无法模拟出 RES 中断的问题,怎么办?
14 | 答疑(二):如何用perf工具分析Java程序?
内存性能篇 (8讲)
15 | 基础篇:Linux内存是怎么工作的?
16 | 基础篇:怎么理解内存中的Buffer和Cache?
17 | 案例篇:如何利用系统缓存优化程序的运行效率?
18 | 案例篇:内存泄漏了,我该如何定位和处理?
19 | 案例篇:为什么系统的Swap变高了(上)
20 | 案例篇:为什么系统的Swap变高了?(下)
21 | 套路篇:如何“快准狠”找到系统内存的问题?
22 | 答疑(三):文件系统与磁盘的区别是什么?
I/O 性能篇 (10讲)
23 | 基础篇:Linux 文件系统是怎么工作的?
24 | 基础篇:Linux 磁盘I/O是怎么工作的(上)
25 | 基础篇:Linux 磁盘I/O是怎么工作的(下)
26 | 案例篇:如何找出狂打日志的“内鬼”?
27 | 案例篇:为什么我的磁盘I/O延迟很高?
28 | 案例篇:一个SQL查询要15秒,这是怎么回事?
29 | 案例篇:Redis响应严重延迟,如何解决?
30 | 套路篇:如何迅速分析出系统I/O的瓶颈在哪里?
31 | 套路篇:磁盘 I/O 性能优化的几个思路
32 | 答疑(四):阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系
网络性能篇 (13讲)
33 | 关于 Linux 网络,你必须知道这些(上)
34 | 关于 Linux 网络,你必须知道这些(下)
35 | 基础篇:C10K 和 C1000K 回顾
36 | 套路篇:怎么评估系统的网络性能?
37 | 案例篇:DNS 解析时快时慢,我该怎么办?
38 | 案例篇:怎么使用 tcpdump 和 Wireshark 分析网络流量?
39 | 案例篇:怎么缓解 DDoS 攻击带来的性能下降问题?
40 | 案例篇:网络请求延迟变大了,我该怎么办?
41 | 案例篇:如何优化 NAT 性能?(上)
42 | 案例篇:如何优化 NAT 性能?(下)
43 | 套路篇:网络性能优化的几个思路(上)
44 | 套路篇:网络性能优化的几个思路(下)
45 | 答疑(五):网络收发过程中,缓冲区位置在哪里?
综合实战篇 (13讲)
46 | 案例篇:为什么应用容器化后,启动慢了很多?
47 | 案例篇:服务器总是时不时丢包,我该怎么办?(上)
48 | 案例篇:服务器总是时不时丢包,我该怎么办?(下)
49 | 案例篇:内核线程 CPU 利用率太高,我该怎么办?
50 | 案例篇:动态追踪怎么用?(上)
51 | 案例篇:动态追踪怎么用?(下)
52 | 案例篇:服务吞吐量下降很厉害,怎么分析?
53 | 套路篇:系统监控的综合思路
54 | 套路篇:应用监控的一般思路
55 | 套路篇:分析性能问题的一般步骤
56 | 套路篇:优化性能问题的一般方法
57 | 套路篇:Linux 性能工具速查
58 | 答疑(六):容器冷启动如何性能分析?
加餐篇 (4讲)
加餐(一) | 书单推荐:性能优化和Linux 系统原理
加餐(二) | 书单推荐:网络原理和 Linux 内核实现
用户故事 | “半路出家 ”,也要顺利拿下性能优化!
用户故事 | 运维和开发工程师们怎么说?
结束语 (1讲)
结束语 | 愿你攻克性能难关
Linux性能优化实战
登录|注册

25 | 基础篇:Linux 磁盘I/O是怎么工作的(下)

倪朋飞 2019-01-16
你好,我是倪朋飞。
上一节我们学习了 Linux 磁盘 I/O 的工作原理,并了解了由文件系统层、通用块层和设备层构成的 Linux 存储系统 I/O 栈。
其中,通用块层是 Linux 磁盘 I/O 的核心。向上,它为文件系统和应用程序,提供访问了块设备的标准接口;向下,把各种异构的磁盘设备,抽象为统一的块设备,并会对文件系统和应用程序发来的 I/O 请求,进行重新排序、请求合并等,提高了磁盘访问的效率。
掌握了磁盘 I/O 的工作原理,你估计迫不及待想知道,怎么才能衡量磁盘的 I/O 性能。
接下来,我们就来看看,磁盘的性能指标,以及观测这些指标的方法。

磁盘性能指标

说到磁盘性能的衡量标准,必须要提到五个常见指标,也就是我们经常用到的,使用率、饱和度、IOPS、吞吐量以及响应时间等。这五个指标,是衡量磁盘性能的基本指标。
使用率,是指磁盘处理 I/O 的时间百分比。过高的使用率(比如超过 80%),通常意味着磁盘 I/O 存在性能瓶颈。
饱和度,是指磁盘处理 I/O 的繁忙程度。过高的饱和度,意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时,磁盘无法接受新的 I/O 请求。
IOPS(Input/Output Per Second),是指每秒的 I/O 请求数。
吞吐量,是指每秒的 I/O 请求大小。
响应时间,是指 I/O 请求从发出到收到响应的间隔时间。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Linux性能优化实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(28)

  • 每天晒白牙
    【D25打卡】
    总结:
    磁盘性能检测指标:
    使用率:磁盘处理I/O的时间百分比,使用率只考虑有没有I/O,不考虑I/O的大小。注意当使用率为100%时,由于可能存在并行I/O,磁盘并不一定饱和,所以磁盘仍然可能接收新的I/O请求
    饱和度:磁盘处理I/O的繁忙程度,注意当饱和度为100%时,磁盘不能接收新的I/O请求
    吞吐量:每秒I/O请求大小
    IOPS:Input/Output Per Second 每秒的I/O请求数
    响应时间:I/O请求从发出到收到响应的间隔时间

    不孤立比较某项指标,结合读写比例、I/O类型(随机还是连续)以及I/O大小综合分析
    例如:随机读写:多关注IOPS
              连续读写:多关注吞吐量

    服务器选型时,对磁盘I/O性能进行基础测试,使用 fio
    磁盘I/O观测:iostat
    进程I/O观测:pidstat,iotop
    指导:遇到I/O性能时,先通过iostat查看磁盘整体性能,然后用pidstat或iotop定位到具体的进程

    疑惑:
    对磁盘的使用率和饱和度还是没太理解,比如说磁盘的使用率达到100%,由于并行I/O,不一定饱和了,所以还可能接收新的I/O请求,还希望老师再指点下。

    作者回复: 使用率是从时间角度衡量I/O,但是磁盘还可以支持并行写,所以即使使用率100%,有可能还可以接收新的I/O(不饱和)

    2019-01-17
    8
  • ninuxer
    day26打卡
    之前都没用过fio测试磁盘实际性能,基本都是依赖磁盘型号查官网数据作为依据~
    iostat和iotop倒是会经常用,之前有几列输出的内容自己理解有偏差,这下算是纠正过来了💪
    2019-01-16
    3
  • Cranliu
    关于磁盘的饱和度,有没有经验值可以参考下呢?谢谢

    作者回复: 饱和度一般没法直接观测到,所以一般是通过实际观测值跟基准测试结果对比来分析

    2019-01-16
    3
  • Ender0224
    仲鬼
    2019-01-25

    2
    "r_await+w_await ,就是响应时间"
    对这句表述有怀疑。
    r_await、w_await分别是读、写请求的平均等待时间,二者相加什么都不是。因为a/b + c/d不等于(a+c)/(b+d)。
    展开
    作者回复: 从公式上是这样,但间隔时间相同的时候呢?

    man手册解释await是平均等待时间,我理解意思是toal wait time / total req number,跟间隔时间无关
    -----------------------------------------------
    "r_await、w_await分别是读、写请求的平均等待时间"基于读写的平均等待时间没错,但是结果也是基于一定的时间范围内的,比如说过去1s,过去5s,显然间隔时间无论设置成多少,都是一样的.
    即a/t + b/t = (a+b)/t

    作者回复: 是的

    2019-02-10
    1
    2
  • 仲鬼
    "r_await+w_await ,就是响应时间"
    对这句表述有怀疑。
    r_await、w_await分别是读、写请求的平均等待时间,二者相加什么都不是。因为a/b + c/d不等于(a+c)/(b+d)。
    展开
    作者回复: 从公式上是这样,但间隔时间相同的时候呢?

    man手册解释await是平均等待时间,我理解意思是toal wait time / total req number,跟间隔时间无关
    2019-01-25
    1
    2
  • 仲鬼
    "r_await+w_await ,就是响应时间"
    对这句表述有怀疑。
    r_await、w_await分别是读、写请求的平均等待时间,二者相加什么都不是。因为a/b + c/d不等于(a+c)/(b+d)。

    作者回复: 从公式上是这样,但间隔时间相同的时候呢?

    2019-01-18
    2
  • Christmas
    一趟调度法,电梯调度法等调度是发生在磁盘控制器硬件上的吗?通用块层的调度是os级别的对吧?

    作者回复: 是的

    2019-01-16
    2
  • remcarpediem
    请问作者对《性能之垫-洞悉系统、企业和云计算》这本书的看法?适合作为工具书,用于查阅;还是可以进行通篇学习

    作者回复: 建议学习一下各个章节的基本原理和思路,剩下的工具部分作为手册参考。不过有些工具过时了,使用的时候要注意

    2019-01-21
    1
  • loser
    老师 ,应用程序可以控制磁盘的顺序写吗?
    2019-11-15
  • Backus
    Iostat vmstat这些命令,第一行数据是不是数据不准,能代表什么吗
    2019-10-30
  • Geek_72833c
    磁盘使用率这个指标通常不够准确 经常会标到80以上 突发的
    2019-07-09
  • 初学者
    还是无法理解利用率和饱和度怎么计算出来的,利用率 - 是指磁盘处理 I/O 的时间百分比,分子是什么指标,分母是什么指标?
    2019-06-02
  • Boy-struggle
    老师,如何根据系统调用判断IO为随机还是顺序,IO 的位置怎么体现,希望老师可以结合案例具体讲解一下,多谢!

    作者回复: 最简单的方法是根据系统调用判断I/O读写的相对位置

    2019-04-03
  • 张挺
    使用率指标不太理解,请问这个值是怎么计算出来的呢?

    作者回复: 使用率,是指磁盘处理 I/O 的时间百分比

    2019-03-29
  • Vincent
    随机io和顺序io就跟数据结构有关系了吧?比如数组和链表。除了通过代码判断是随机io还是顺序io 系统有什么工具可以判断吗?

    作者回复: 数组和链表还是内存中的数据结构,I/O是指跟磁盘的交互。跟踪进程的系统调用或者磁盘的I/O,根据读写的相对位置可以判断

    2019-03-24
  • 挺直腰板
    老师,如何知道是随机IO还是顺序IO,两者性能差还是蛮大

    作者回复: 可以通过系统调用观察I/O的相对位置

    2019-03-24
  • 苦行僧
    老师在使用网络挂载的共享存储io性能差,有什么优化方式吗

    作者回复: 这要看场景的,需要先定位出瓶颈是哪里导致的

    2019-03-04
  • jssfy
    iotop可以看到在nfs上的流量不?

    作者回复: 应该是可以的,不过我没有试过,你可以执行一下看看

    2019-01-24
  • 刘涛^_^
    老师,IO的饱和度怎么衡量
    2019-01-22
  • dexter
    打卡
    2019-01-18
收起评论
28
返回
顶部