Linux性能优化实战
倪朋飞
微软资深工程师，Kubernetes项目维护者
立即订阅
23395 人已学习
课程目录
已完结 64 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (2讲)
开篇词 | 别再让Linux性能问题成为你的绊脚石
免费
01 | 如何学习Linux性能优化？
CPU 性能篇 (13讲)
02 | 基础篇：到底应该怎么理解“平均负载”？
03 | 基础篇：经常说的 CPU 上下文切换是什么意思？（上）
04 | 基础篇：经常说的 CPU 上下文切换是什么意思？（下）
05 | 基础篇：某个应用的CPU使用率居然达到100%，我该怎么办？
06 | 案例篇：系统的 CPU 使用率很高，但为啥却找不到高 CPU 的应用？
07 | 案例篇：系统中出现大量不可中断进程和僵尸进程怎么办？（上）
08 | 案例篇：系统中出现大量不可中断进程和僵尸进程怎么办？（下）
09 | 基础篇：怎么理解Linux软中断？
10 | 案例篇：系统的软中断CPU使用率升高，我该怎么办？
11 | 套路篇：如何迅速分析出系统CPU的瓶颈在哪里？
12 | 套路篇：CPU 性能优化的几个思路
13 | 答疑（一）：无法模拟出 RES 中断的问题，怎么办？
14 | 答疑（二）：如何用perf工具分析Java程序？
内存性能篇 (8讲)
15 | 基础篇：Linux内存是怎么工作的？
16 | 基础篇：怎么理解内存中的Buffer和Cache？
17 | 案例篇：如何利用系统缓存优化程序的运行效率？
18 | 案例篇：内存泄漏了，我该如何定位和处理？
19 | 案例篇：为什么系统的Swap变高了（上）
20 | 案例篇：为什么系统的Swap变高了？（下）
21 | 套路篇：如何“快准狠”找到系统内存的问题？
22 | 答疑（三）：文件系统与磁盘的区别是什么？
I/O 性能篇 (10讲)
23 | 基础篇：Linux 文件系统是怎么工作的？
24 | 基础篇：Linux 磁盘I/O是怎么工作的（上）
25 | 基础篇：Linux 磁盘I/O是怎么工作的（下）
26 | 案例篇：如何找出狂打日志的“内鬼”？
27 | 案例篇：为什么我的磁盘I/O延迟很高？
28 | 案例篇：一个SQL查询要15秒，这是怎么回事？
29 | 案例篇：Redis响应严重延迟，如何解决？
30 | 套路篇：如何迅速分析出系统I/O的瓶颈在哪里？
31 | 套路篇：磁盘 I/O 性能优化的几个思路
32 | 答疑（四）：阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系
网络性能篇 (13讲)
33 | 关于 Linux 网络，你必须知道这些（上）
34 | 关于 Linux 网络，你必须知道这些（下）
35 | 基础篇：C10K 和 C1000K 回顾
36 | 套路篇：怎么评估系统的网络性能？
37 | 案例篇：DNS 解析时快时慢，我该怎么办？
38 | 案例篇：怎么使用 tcpdump 和 Wireshark 分析网络流量？
39 | 案例篇：怎么缓解 DDoS 攻击带来的性能下降问题？
40 | 案例篇：网络请求延迟变大了，我该怎么办？
41 | 案例篇：如何优化 NAT 性能？（上）
42 | 案例篇：如何优化 NAT 性能？（下）
43 | 套路篇：网络性能优化的几个思路（上）
44 | 套路篇：网络性能优化的几个思路（下）
45 | 答疑（五）：网络收发过程中，缓冲区位置在哪里？
综合实战篇 (13讲)
46 | 案例篇：为什么应用容器化后，启动慢了很多？
47 | 案例篇：服务器总是时不时丢包，我该怎么办？（上）
48 | 案例篇：服务器总是时不时丢包，我该怎么办？（下）
49 | 案例篇：内核线程 CPU 利用率太高，我该怎么办？
50 | 案例篇：动态追踪怎么用？（上）
51 | 案例篇：动态追踪怎么用？（下）
52 | 案例篇：服务吞吐量下降很厉害，怎么分析？
53 | 套路篇：系统监控的综合思路
54 | 套路篇：应用监控的一般思路
55 | 套路篇：分析性能问题的一般步骤
56 | 套路篇：优化性能问题的一般方法
57 | 套路篇：Linux 性能工具速查
58 | 答疑（六）：容器冷启动如何性能分析？
加餐篇 (4讲)
加餐（一） | 书单推荐：性能优化和Linux 系统原理
加餐（二） | 书单推荐：网络原理和 Linux 内核实现
用户故事 | “半路出家 ”，也要顺利拿下性能优化！
用户故事 | 运维和开发工程师们怎么说？
结束语 (1讲)
结束语 | 愿你攻克性能难关
Linux性能优化实战
登录|注册
49 | 案例篇：内核线程 CPU 利用率太高，我该怎么办？
倪朋飞 2019-03-18
你好，我是倪朋飞。
上一期，我们一起梳理了，网络时不时丢包的分析定位和优化方法。先简单回顾一下。
网络丢包，通常会带来严重的性能下降，特别是对 TCP 来说，丢包通常意味着网络拥塞和重传，进而会导致网络延迟增大以及吞吐量降低。
而分析丢包问题，还是用我们的老套路，从 Linux 网络收发的流程入手，结合 TCP/IP 协议栈的原理来逐层分析。
其实，在排查网络问题时，我们还经常碰到的一个问题，就是内核线程的 CPU 使用率很高。比如，在高并发的场景中，内核线程 ksoftirqd 的 CPU 使用率通常就会比较高。回顾一下前面学过的 CPU 和网络模块，你应该知道，这是网络收发的软中断导致的。
而要分析 ksoftirqd 这类 CPU 使用率比较高的内核线程，如果用我前面介绍过的那些分析方法，你一般需要借助于其他性能工具，进行辅助分析。
比如，还是以 ksoftirqd 为例，如果你怀疑是网络问题，就可以用 sar、tcpdump 等分析网络流量，进一步确认网络问题的根源。
不过，显然，这种方法在实际操作中需要步骤比较多，可能并不算快捷。你肯定也很想知道，有没有其他更简单的方法，可以直接观察内核线程的行为，更快定位瓶颈呢？
今天，我就继续以 ksoftirqd 为例，带你一起看看，如何分析内核线程的性能问题。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Linux性能优化实战》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(10)
- 李逍遥cpu火焰图和内存火焰图，在生成数据时有什么不同？
作者回复: 火焰图的结构是一样的，只是函数堆栈不一样，内存火焰图侧重于内存管理函数的调用栈
2019-04-01 1 - Littlesoup"一个函数占用的横轴越宽，就代表它的执行时间越长。"
"另外，整个火焰图不包含任何时间的因素，所以并不能看出横向各个函数的执行次序。"
原文这两句话读起来有点困惑，第二句的意思是不是不包含任何时序的因素？2019-11-26 
乖，摸摸头为啥我的一值都是显示的16进制而不是函数名2019-10-15- 如果DAY49，打卡2019-04-17
- 李逍遥老师，能讲讲内存火焰图生成perf.data数据时,perf record加哪些选项吗？
作者回复: 要加上内存管理相关的事件（函数），比如perf record -e syscalls:sys_enter_mmap -a -g -- sleep 60
2019-04-03 
青石两周时间，终于追上来了。
请问老师，有哪些书有助于通过内核函数来定位故障，Linux用了9年，看到这还是感觉有些吃力。
内核线程问题，我的环境和老师的有些区别，没有br_nf_pre_routing函数调用，但是从ip_forward推测与消息转发有关，sar发现有大量小包接收，conntrack -L看到大量本机到docker地址的SYN_SENT状态的连接、hping3服务器到测试服务器的SYN_RECV状态连接。初步定位到具体的docker。
上面思考的过程，有点因为知道问题点，所以朝这个方向走的感觉。作者回复: 内核里面其实就提供了很多工具，可以参考下50和51篇中的动态追踪方法
2019-03-22
行者很赞，准备回去用火焰图分析下我们后端服务。^ _ ^2019-03-19- 2xshu老师，这是最后一节课程吗？
作者回复: 不是，看原来的目录，还有好些篇
2019-03-18 
我来也[D49打卡]
之前用火焰图分析过golang程序的内存分配及cpu使用率情况.感觉非常直观.能快速找到瓶颈.作者回复: 嗯嗯 Go内置了pprof 工具，用起来更简单
2019-03-18- ninuxer打卡day52
有碰到一个内核问题，docker宿主机上kworker/u80进程的cpu占用率一直100%，其他的kworker进程都正常，每隔几个月就会碰到一次，为了快速恢复业务，就直接重启了，主要是没办法在线下实验的时候复现问题，所以就没有深入的分析，后面碰到后，可以用老师的方法，把perf record采集一段时间的调用信息，然后拿出去分析下👍作者回复: 嗯嗯
2019-03-18
收起评论