Linux性能优化实战
倪朋飞
微软资深工程师,Kubernetes项目维护者
立即订阅
23395 人已学习
课程目录
已完结 64 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (2讲)
开篇词 | 别再让Linux性能问题成为你的绊脚石
免费
01 | 如何学习Linux性能优化?
CPU 性能篇 (13讲)
02 | 基础篇:到底应该怎么理解“平均负载”?
03 | 基础篇:经常说的 CPU 上下文切换是什么意思?(上)
04 | 基础篇:经常说的 CPU 上下文切换是什么意思?(下)
05 | 基础篇:某个应用的CPU使用率居然达到100%,我该怎么办?
06 | 案例篇:系统的 CPU 使用率很高,但为啥却找不到高 CPU 的应用?
07 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(上)
08 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(下)
09 | 基础篇:怎么理解Linux软中断?
10 | 案例篇:系统的软中断CPU使用率升高,我该怎么办?
11 | 套路篇:如何迅速分析出系统CPU的瓶颈在哪里?
12 | 套路篇:CPU 性能优化的几个思路
13 | 答疑(一):无法模拟出 RES 中断的问题,怎么办?
14 | 答疑(二):如何用perf工具分析Java程序?
内存性能篇 (8讲)
15 | 基础篇:Linux内存是怎么工作的?
16 | 基础篇:怎么理解内存中的Buffer和Cache?
17 | 案例篇:如何利用系统缓存优化程序的运行效率?
18 | 案例篇:内存泄漏了,我该如何定位和处理?
19 | 案例篇:为什么系统的Swap变高了(上)
20 | 案例篇:为什么系统的Swap变高了?(下)
21 | 套路篇:如何“快准狠”找到系统内存的问题?
22 | 答疑(三):文件系统与磁盘的区别是什么?
I/O 性能篇 (10讲)
23 | 基础篇:Linux 文件系统是怎么工作的?
24 | 基础篇:Linux 磁盘I/O是怎么工作的(上)
25 | 基础篇:Linux 磁盘I/O是怎么工作的(下)
26 | 案例篇:如何找出狂打日志的“内鬼”?
27 | 案例篇:为什么我的磁盘I/O延迟很高?
28 | 案例篇:一个SQL查询要15秒,这是怎么回事?
29 | 案例篇:Redis响应严重延迟,如何解决?
30 | 套路篇:如何迅速分析出系统I/O的瓶颈在哪里?
31 | 套路篇:磁盘 I/O 性能优化的几个思路
32 | 答疑(四):阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系
网络性能篇 (13讲)
33 | 关于 Linux 网络,你必须知道这些(上)
34 | 关于 Linux 网络,你必须知道这些(下)
35 | 基础篇:C10K 和 C1000K 回顾
36 | 套路篇:怎么评估系统的网络性能?
37 | 案例篇:DNS 解析时快时慢,我该怎么办?
38 | 案例篇:怎么使用 tcpdump 和 Wireshark 分析网络流量?
39 | 案例篇:怎么缓解 DDoS 攻击带来的性能下降问题?
40 | 案例篇:网络请求延迟变大了,我该怎么办?
41 | 案例篇:如何优化 NAT 性能?(上)
42 | 案例篇:如何优化 NAT 性能?(下)
43 | 套路篇:网络性能优化的几个思路(上)
44 | 套路篇:网络性能优化的几个思路(下)
45 | 答疑(五):网络收发过程中,缓冲区位置在哪里?
综合实战篇 (13讲)
46 | 案例篇:为什么应用容器化后,启动慢了很多?
47 | 案例篇:服务器总是时不时丢包,我该怎么办?(上)
48 | 案例篇:服务器总是时不时丢包,我该怎么办?(下)
49 | 案例篇:内核线程 CPU 利用率太高,我该怎么办?
50 | 案例篇:动态追踪怎么用?(上)
51 | 案例篇:动态追踪怎么用?(下)
52 | 案例篇:服务吞吐量下降很厉害,怎么分析?
53 | 套路篇:系统监控的综合思路
54 | 套路篇:应用监控的一般思路
55 | 套路篇:分析性能问题的一般步骤
56 | 套路篇:优化性能问题的一般方法
57 | 套路篇:Linux 性能工具速查
58 | 答疑(六):容器冷启动如何性能分析?
加餐篇 (4讲)
加餐(一) | 书单推荐:性能优化和Linux 系统原理
加餐(二) | 书单推荐:网络原理和 Linux 内核实现
用户故事 | “半路出家 ”,也要顺利拿下性能优化!
用户故事 | 运维和开发工程师们怎么说?
结束语 (1讲)
结束语 | 愿你攻克性能难关
Linux性能优化实战
登录|注册

05 | 基础篇:某个应用的CPU使用率居然达到100%,我该怎么办?

倪朋飞 2018-11-30
你好,我是倪朋飞。
通过前两节对平均负载和 CPU 上下文切换的学习,我相信你对 CPU 的性能已经有了初步了解。不过我还是想问一下,在学这个专栏前,你最常用什么指标来描述系统的 CPU 性能呢?我想你的答案,可能不是平均负载,也不是 CPU 上下文切换,而是另一个更直观的指标—— CPU 使用率。
我们前面说过,CPU 使用率是单位时间内 CPU 使用情况的统计,以百分比的方式展示。那么,作为最常用也是最熟悉的 CPU 指标,你能说出 CPU 使用率到底是怎么算出来的吗?再有,诸如 top、ps 之类的性能工具展示的 %user、%nice、 %system、%iowait 、%steal 等等,你又能弄清楚它们之间的不同吗?
今天我就带你了解 CPU 使用率的内容,同时,我也会以我们最常用的反向代理服务器 Nginx 为例,带你在一步步操作和分析中深入理解。

CPU 使用率

在上一期我曾提到,Linux 作为一个多任务操作系统,将每个 CPU 的时间划分为很短的时间片,再通过调度器轮流分配给各个任务使用,因此造成多任务同时运行的错觉。
为了维护 CPU 时间,Linux 通过事先定义的节拍率(内核中表示为 HZ),触发时间中断,并使用全局变量 Jiffies 记录了开机以来的节拍数。每发生一次时间中断,Jiffies 的值就加 1。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Linux性能优化实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(200)

  • 每天晒白牙
    【D5补卡】
    我的系统是centos7,上次实战用 perf top -g -p pid没有看到函数名称,只能看到一堆十六进制的东西,然后老师给了解决方法,我转述下:
    分析:当没有看到函数名称,只看到了十六进制符号,下面有Failed to open /usr/lib/x86_64-linux-gnu/libxml2.so.2.9.4, continuing without symbols 这说明perf无法找到待分析进程所依赖的库。这里只显示了一个,但其实依赖的库还有很多。这个问题其实是在分析Docker容器应用时经常会碰到的一个问题,因为容器应用所依赖的库都在镜像里面。

    老师给了两个解决思路:
    (1)在容器外面构建相同路径的依赖库。这种方法不推荐,一是因为找出这些依赖比较麻烦,更重要的是构建这些路径会污染虚拟机的环境。
    (2)在容器外面把分析纪录保存下来,到容器里面再去查看结果,这样库和符号的路径就都是对的了。

    操作:
    (1)在Centos系统上运行 perf record -g -p <pid>,执行一会儿(比如15秒)按ctrl+c停止
    (2)把生成的 perf.data(这个文件生成在执行命令的当前目录下,当然也可以通过查找它的路径 find | grep perf.data或 find / -name perf.data)文件拷贝到容器里面分析:
    docker cp perf.data phpfpm:/tmp
    docker exec -i -t phpfpm bash
    $ cd /tmp/
    $ apt-get update && apt-get install -y linux-perf linux-tools procps
    $ perf_4.9 report

    注意:最后运行的工具名字是容器内部安装的版本 perf_4.9,而不是 perf 命令,这是因为 perf 会去跟内核的版本进行匹配,但镜像里面安装的perf版本有可能跟虚拟机的内核版本不一致。
    注意:上面的问题只是在centos系统中有问题,ubuntu上没有这个问题
    2018-12-04
    3
    72
  • D白菜
    Day 5,干活满满啊,谢谢老师啊。
    今天总结如下:
    1、Linux并发(任务并行)的实质:Linux 作为一个多任务操作系统,将每个 CPU 的时间划分为很短的时间片,再通过调度器轮流分配给各个任务使用
    2、cpu的维护,通过实先定义的节拍率(内核用赫兹HZ标示)触发时间判断(全局变量jiffies记录)。
    3、节拍率是内核态运行,属于内核空间节拍率;用户空间节拍率( USER_HZ)是一个固定设置
    [root@dbayang ~]# grep 'CONFIG_HZ=' /boot/config-$(uname -r)
    CONFIG_HZ=1000
    4、/proc/stat 提供的就是系统的 CPU 和任务统计信息; /proc/[pid]/stat展示进程的CPU和任务统计信息
    5、cpu的使用率={1-(idle_time/total_cpu_time)}/sample_time
    6、性能分析工具给出的都是间隔一段时间的平均 CPU 使用率,所以要注意间隔时间的设置。top默认为3s,ps使用的是进程运行时间。
    7、top、vmstat、mpstat等命令种关于cpu性能相关指标的含义
    8、pidstat命令含义
    9、perf
           以前用到的一堆[n]trace分析工具,perf的直观易用,这是今天最大的收获,作为dba对数据库的分析也很有的,么么哒。
    perf top、perf record、perf report
    对进程进行跟踪分析其调用perf top -g -p <mysqlpid>
    10、今天用到测试工具:ab

    作者回复: 👍 课代表的总结很全面

    2018-11-30
    52
  • zeroxus
    【D5】打卡
    干货满满
    使用Markdown整理成了笔记, 配合目录查回顾,会方便很多
    https://www.zybuluo.com/Gugoole/note/1354842
    2018-11-30
    32
  • 不纯有机物
    老师,我的也是无法定位到具体的函数,都是16进制显示的
    2018-11-30
    25
  • 每天晒白牙
    【day5】打卡
    早晨六点半起来跟着专栏在虚拟机上搞,这个案例能完整跟下来也是不容易,还需要docker,个人认为,这种实战的课,一定要上手,光看是不行的。愿自己能坚持下去。
    2018-11-30
    12
  • ichen
    内核如果没有perf package的话,可以从git下载源码安装
    https://askubuntu.com/questions/50145/how-to-install-perf-monitoring-tool/306683

    git clone https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git (大约2.5G 左右)
    cd linux/tools/perf
    make (可能缺flex,bison等,需自行安装)
    cp perf /usr/bin
    perf --version

    作者回复: 感谢分享

    2018-12-01
    8
  • espzest
    iowait所耗费的时间,应该不算到cpu使用率里面吧? 如果是这样的话,上面计算cpu使用率 除去idle以外的时间都算,是不是有问题?
    2018-11-30
    8
  • 风清扬笑
    cpu使用率,就是cpu被使用的比例,也就是空闲之外的使用比例。

    对我来说,发现cpu使用率高后,先跟老师一样用perf来抓取cpu消耗栈,很容易发现瓶颈。

    另外,我一般用mpstat -P ALL 来看各个cpu核心的使用率情况,因为top之类的看的是系统总使用率,不一定能发现问题,特别是多进程或者多线程应用

    作者回复: 👍

    2018-11-30
    8
  • 樊海涛
    执行perf top -g -p (php-fpm进程号),发现不了sqrt函数

    作者回复: 只看到地址而不是函数名是由于应用程序运行在容器中,它的依赖也都在容器内部,故而perf无法找到PHP符号表。一个简单的解决方法是使用perf record生成perf.data拷贝到容器内部 perf report。

    2018-12-02
    1
    7
  • dexter
    每天上班地铁听一遍,下班地铁听一遍,晚上做实验

    作者回复: 👍

    2018-12-01
    1
    5
  • 101010 == 42
    『D6打卡』
    还没有操作实验,看了内容,先占个位置。
    2018-11-30
    5
  • 北斗狼
    老师,问个问题,我按您的文档,我使用perf top -g -p 进程ID 怎么无法查看php-fpm的调用关系,出不来哪个函数较用较高的CPU? 以下是我的显示结果,您帮我看看为什么显示的是0x7fd...
    1、开始压力测试
    ab -c 10 -n 10000 http://bjdsj-test-11-58:10001

    2、查看调用关系 perf top -g -p 39826
    Samples: 80K of event 'cycles', Event count (approx.): 29700884257
    + 93.02% 0.69% php-fpm [.] 0x00000000008c296e
       0x7fd84a21c96e
       0x7fd84a21d323
       0x7fd84a185f94
       0x7fd84a0d66fc
       0x7fd84a325642
       0x7fd842a702e1
       0x6cb6258d4c544155
    + 23.35% 0.38% php-fpm [.] 0x00000000008c4a7c
    + 5.60% 5.60% libm-2.24.so [.] 0x000000000002127e
    + 4.22% 0.00% php-fpm [.] 0x000000000098dd97
    + 2.54% 2.54% php-fpm [.] 0x000000000094ede0
    + 1.96% 1.96% php-fpm [.] 0x0000000000681b9d
    + 1.58% 1.58% php-fpm [.] 0x0000000000815e70
    + 1.52% 1.51% php-fpm [.] 0x000000000094eddc
    + 1.48% 1.48% php-fpm [.] 0x00000000008cd729
    + 1.32% 1.32% php-fpm [.] 0x00000000008c4ae5
    + 1.21% 1.21% php-fpm [.] 0x000000000098dc03
    + 1.04% 1.04% php-fpm [.] 0x0000000000681b99
    Failed to open /opt/bitnami/php/lib/php/extensions/opcache.so, continuing without symbols
    2018-11-30
    4
  • 猪哥哥
    老师你好 我写了一个python死循环 代码如下
    def wangfang():
      while True:
        i =1
    wangfang()
    使用perf top命令 无法抓取到该循环的函数, 老师能解释一下吗
    2019-01-07
    3
  • 我来也
    [D5打卡]
    以前只会用top看CPU使用率,发现占用高的进程了再针对性的分析,比如c程序就用prof,局限性很高,
    今天了解到可以用perf,直接看进程内函数调用栈和各函数的cpu使用率。
    以前看到%sys过高,系统中断数过高的判断方法更搞笑,挨个杀可疑进程。
    现在直接用pidstat就是了。
    ——————
    最近在某云服务器上就遇到了诡异的事情,cpu空闲75%,%iowait不到1,系统中断数一直比较稳定,vmstat中的r正在运行和等待队列也还正常,但是系统每隔1小时23分,负载load1:就会从平常的0.2升高到8甚至是12的情况。好在每次持续时间较短,约2分钟,load5的值还可以接受。
    争取最近能把原因查出来,早点把学费赚回来,哈哈😄
    —————
    虽然之前学k8s专栏时ubuntu 18.04 和docker都配好了,但是最近手上事情有点多,还是先解决手上的事情吧。老师见谅哈。

    作者回复: 很多线上问题其实跟这个类似,等到你登陆服务器的时候性能问题已经结束了,这样在线分析就看不出哪里导致的问题,只有从平均负载这种反应历史的指标看出一些问题。

    这种情景下,就需要监控系统的配合,记录下历史的系统和进程的性能指标。并且,这个case只有load1高,所以监控的间隔时间也需要比较精细。

    2018-11-30
    3
  • 沙漠风暴
    老师,弱弱的请教下怎么用docker安装您那个nginx和php环境和程序,我以前没用过docker,刚学的,见谅。

    作者回复: 按照文中的步骤操作就可以

    2019-02-09
    2
  • 李嘉鹏
    我安装的ubuntu 18.04 live server版本,使用如下指令安装的perf:
    apt install linux-tools-generic

    作者回复: 👍 谢谢分享安装方法

    2018-12-15
    1
    2
  • 小虎
    为什么iowait高会导致cpu使用率高,还有例子中定位函数关系链那里sqrt那里看只有3.97%,怎么就确定是这个引起的。
    2018-12-04
    2
  • 渡渡鸟_linux
    使用perf 只能分析到16进制的地址,无法显示函数名称

    作者回复: 只看到地址而不是函数名是由于应用程序运行在容器中,它的依赖也都在容器内部,故而perf无法找到PHP符号表。

    2018-12-02
    2
  • 樊海涛
    [Day6打卡]
    文章前面(查询 man proc 就可以),木有这么个命令吧?

    作者回复: man是Linux最基本的命令

    2018-12-02
    2
  • 郭江伟
    用sysbench测试cpu性能,然后利用perf 找到具体哪个进程的哪个函数在消耗CPU
    gjw@gjw:/etc/apt$ sysbench --threads=1 --time=600 cpu run
    sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3)
    Running the test with following options:
    Number of threads: 1
    Initializing random number generator from current time
    Prime numbers limit: 10000
    Initializing worker threads...
    Threads started!
    查看sysbench进程
    ps -egjw@gjw:~$ ps -ef | grep sysbench
    gjw 31921 1294 77 11:20 pts/0 00:04:39 sysbench --threads=1 --time=600 cpu run
    perf top获取进程信息:
    sudo perf top -g -p 31921
    Samples: 824 of event 'cycles:ppp', Event count (approx.): 618842235
      Children Self Shared Object Symbol
    + 100.00% 100.00% sysbench [.] cpu_execute_event
    然后在sysbench源码中查看cpu_execute_event 函数:
    gjw@gjw:~/soft/sysbench-master$ grep -r cpu_execute_event
    Binary file src/tests/cpu/libsbcpu.a matches
    Binary file src/tests/cpu/libsbcpu_a-sb_cpu.o matches
    src/tests/cpu/sb_cpu.c:static int cpu_execute_event(sb_event_t *, int);
    src/tests/cpu/sb_cpu.c: .execute_event = cpu_execute_event,
    src/tests/cpu/sb_cpu.c:int cpu_execute_event(sb_event_t *r, int thread_id)
    Binary file src/sysbench matches
    gjw@gjw:~/soft/sysbench-master$ vi src/tests/cpu/sb_cpu.c
     int cpu_execute_event(sb_event_t *r, int thread_id)
    {
      unsigned long long c;
      unsigned long long l;
      double t;
      unsigned long long n=0;
      (void)thread_id; /* unused */
      (void)r; /* unused */
      /* So far we're using very simple test prime number tests in 64bit */
      for(c=3; c < max_prime; c++)
      {
        t = sqrt((double)c);
        for(l = 2; l <= t; l++)
          if (c % l == 0)
            break;
        if (l > t )
          n++;
      }
      return 0;
    可以看到该函数在计算素数,由此完成了一个cpu使用率很高的案例分析

    作者回复: 很详细的分析步骤,感谢分享👍

    2018-12-02
    2
收起评论
99+
返回
顶部