Linux性能优化实战
倪朋飞
微软资深工程师，Kubernetes项目维护者
立即订阅
23395 人已学习
课程目录
已完结 64 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (2讲)
开篇词 | 别再让Linux性能问题成为你的绊脚石
免费
01 | 如何学习Linux性能优化？
CPU 性能篇 (13讲)
02 | 基础篇：到底应该怎么理解“平均负载”？
03 | 基础篇：经常说的 CPU 上下文切换是什么意思？（上）
04 | 基础篇：经常说的 CPU 上下文切换是什么意思？（下）
05 | 基础篇：某个应用的CPU使用率居然达到100%，我该怎么办？
06 | 案例篇：系统的 CPU 使用率很高，但为啥却找不到高 CPU 的应用？
07 | 案例篇：系统中出现大量不可中断进程和僵尸进程怎么办？（上）
08 | 案例篇：系统中出现大量不可中断进程和僵尸进程怎么办？（下）
09 | 基础篇：怎么理解Linux软中断？
10 | 案例篇：系统的软中断CPU使用率升高，我该怎么办？
11 | 套路篇：如何迅速分析出系统CPU的瓶颈在哪里？
12 | 套路篇：CPU 性能优化的几个思路
13 | 答疑（一）：无法模拟出 RES 中断的问题，怎么办？
14 | 答疑（二）：如何用perf工具分析Java程序？
内存性能篇 (8讲)
15 | 基础篇：Linux内存是怎么工作的？
16 | 基础篇：怎么理解内存中的Buffer和Cache？
17 | 案例篇：如何利用系统缓存优化程序的运行效率？
18 | 案例篇：内存泄漏了，我该如何定位和处理？
19 | 案例篇：为什么系统的Swap变高了（上）
20 | 案例篇：为什么系统的Swap变高了？（下）
21 | 套路篇：如何“快准狠”找到系统内存的问题？
22 | 答疑（三）：文件系统与磁盘的区别是什么？
I/O 性能篇 (10讲)
23 | 基础篇：Linux 文件系统是怎么工作的？
24 | 基础篇：Linux 磁盘I/O是怎么工作的（上）
25 | 基础篇：Linux 磁盘I/O是怎么工作的（下）
26 | 案例篇：如何找出狂打日志的“内鬼”？
27 | 案例篇：为什么我的磁盘I/O延迟很高？
28 | 案例篇：一个SQL查询要15秒，这是怎么回事？
29 | 案例篇：Redis响应严重延迟，如何解决？
30 | 套路篇：如何迅速分析出系统I/O的瓶颈在哪里？
31 | 套路篇：磁盘 I/O 性能优化的几个思路
32 | 答疑（四）：阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系
网络性能篇 (13讲)
33 | 关于 Linux 网络，你必须知道这些（上）
34 | 关于 Linux 网络，你必须知道这些（下）
35 | 基础篇：C10K 和 C1000K 回顾
36 | 套路篇：怎么评估系统的网络性能？
37 | 案例篇：DNS 解析时快时慢，我该怎么办？
38 | 案例篇：怎么使用 tcpdump 和 Wireshark 分析网络流量？
39 | 案例篇：怎么缓解 DDoS 攻击带来的性能下降问题？
40 | 案例篇：网络请求延迟变大了，我该怎么办？
41 | 案例篇：如何优化 NAT 性能？（上）
42 | 案例篇：如何优化 NAT 性能？（下）
43 | 套路篇：网络性能优化的几个思路（上）
44 | 套路篇：网络性能优化的几个思路（下）
45 | 答疑（五）：网络收发过程中，缓冲区位置在哪里？
综合实战篇 (13讲)
46 | 案例篇：为什么应用容器化后，启动慢了很多？
47 | 案例篇：服务器总是时不时丢包，我该怎么办？（上）
48 | 案例篇：服务器总是时不时丢包，我该怎么办？（下）
49 | 案例篇：内核线程 CPU 利用率太高，我该怎么办？
50 | 案例篇：动态追踪怎么用？（上）
51 | 案例篇：动态追踪怎么用？（下）
52 | 案例篇：服务吞吐量下降很厉害，怎么分析？
53 | 套路篇：系统监控的综合思路
54 | 套路篇：应用监控的一般思路
55 | 套路篇：分析性能问题的一般步骤
56 | 套路篇：优化性能问题的一般方法
57 | 套路篇：Linux 性能工具速查
58 | 答疑（六）：容器冷启动如何性能分析？
加餐篇 (4讲)
加餐（一） | 书单推荐：性能优化和Linux 系统原理
加餐（二） | 书单推荐：网络原理和 Linux 内核实现
用户故事 | “半路出家 ”，也要顺利拿下性能优化！
用户故事 | 运维和开发工程师们怎么说？
结束语 (1讲)
结束语 | 愿你攻克性能难关
Linux性能优化实战
登录|注册
33 | 关于 Linux 网络，你必须知道这些（上）
倪朋飞 2019-02-06
你好，我是倪朋飞。
前几节，我们一起学习了文件系统和磁盘 I/O 的工作原理，以及相应的性能分析和优化方法。接下来，我们将进入下一个重要模块—— Linux 的网络子系统。
由于网络处理的流程最复杂，跟我们前面讲到的进程调度、中断处理、内存管理以及 I/O 等都密不可分，所以，我把网络模块作为最后一个资源模块来讲解。
同 CPU、内存以及 I/O 一样，网络也是 Linux 系统最核心的功能。网络是一种把不同计算机或网络设备连接到一起的技术，它本质上是一种进程间通信方式，特别是跨系统的进程间通信，必须要通过网络才能进行。随着高并发、分布式、云计算、微服务等技术的普及，网络的性能也变得越来越重要。
那么，Linux 网络又是怎么工作的呢？又有哪些指标衡量网络的性能呢？接下来的两篇文章，我将带你一起学习 Linux 网络的工作原理和性能指标。
网络模型
说到网络，我想你肯定经常提起七层负载均衡、四层负载均衡，或者三层设备、二层设备等等。那么，这里说的二层、三层、四层、七层又都是什么意思呢？
实际上，这些层都来自国际标准化组织制定的开放式系统互联通信参考模型（Open System Interconnection Reference Model），简称为 OSI 网络模型。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Linux性能优化实战》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(30)
- 渡渡鸟_linux我结合网络上查阅的资料和文章中的内容，总结了下网卡收发报文的过程，不知道是否正确：
1. 内核分配一个主内存地址段（DMA缓冲区)，网卡设备可以在DMA缓冲区中读写数据
2. 当来了一个网络包，网卡将网络包写入DMA缓冲区，写完后通知CPU产生硬中断
3. 硬中断处理程序锁定当前DMA缓冲区，然后将网络包拷贝到另一块内存区，清空并解锁当前DMA缓冲区，然后通知软中断去处理网络包。
-----
当发送数据包时，与上述相反。链路层将数据包封装完毕后，放入网卡的DMA缓冲区，并调用系统硬中断，通知网卡从缓冲区读取并发送数据。作者回复: 对的
2019-03-07 1 20 
安排当一个网络帧到达网卡后，网卡会通过 DMA 方式，把这个网络包放到收包队列中；然后通过硬中断，告诉中断处理程序已经收到了网络包。
接着，网卡中断处理程序会为网络帧分配内核数据结构（sk_buff），并将其拷贝到 sk_buff 缓冲区中；然后再通过软中断，通知内核收到了新的网络帧。
接下来，内核协议栈从缓冲区中取出网络帧，并通过网络协议栈，从下到上逐层处理这个网络帧。
老师你好，上面的一段话有些疑问想请教一下。
收包队列是属于哪里的存储空间，是属于物理内存吗，还是网卡中的存储空间，通过dma方式把数据放到收包队列，我猜这个收包队列是物理内存中的空间。这个收包队列是由内核管理的吧，也就是跟某一个进程的用户空间地址没关系？
那sk_buf缓冲区又是哪里的存储空间，为什么还要把收包队列拷贝到这个缓冲区呢，这个缓冲区是协议栈维护的吗？也属于内核，跟进程的用户空间地址有关系吗？
socket的接收发送缓冲区是映射到进程的用户空间地址的吗？还是由协议栈为每个socket在内核中维护的缓冲区？
还有上面说到的这些缓冲区跟cache和buf有什么关系？会被回收吗？
内核协议栈的运行是通过一个内核线程的方式来运行的吗？是否可以看到这个线程的名字？作者回复: 问题比较多，放到答疑篇里面统一回复吧
2019-02-26 12
Dale网络报文传需要在用户态和内核态来回切换，导致性能下降。业界使用零拷贝或intel的dpdk来提高性能。2019-02-12 1 9- Geek_00d753收数据的时候，从网卡到应用层socket。需要一次硬中断+一次软中断。
发数据的时候只需要一次软中断。
是这样吗？老师2019-03-22 1 2 - ninuxer打卡day35
有一次业务反馈有些请求无法正常响应，后来花了两天时间才发现ifconfig看网卡的drop的包不断增长，后来发现是跟开启了内核的timestamp参数有关2019-02-13 2 
空空老师过年好！
曾经在Linux3.10测试netlink收发包效率，发现一个问题，正常情况下每收一个包大概需要10us，但是每隔8秒会出现一次收包时间30-50ms，就是因为固定间隔8秒会出现一次收包时间过长，导致收包效率降低。请教一下老师每隔8秒系统会做什么？或者是因为什么系统配置？希望老师解答一下疑惑，谢谢！作者回复: 这个不好说，后面有讲到延迟增大的分析思路，到时候可以分析看看
2019-02-08 1 2
威老师您好，请问最后一张图下方的两个大圈圈代表的是什么意思，是代表loop吗作者回复: ring buffer
2019-02-06 2- Geek_25565b老师好，netstat 执行一次 Recv-Q 和Send-Q 有值就说明堆积吗？还是用watch 看变化情况确定堆积？2019-08-02 1
- 空白一直不太理解，网络包是如何具体交付给对应的线程的？
作者回复: 系统调用
2019-07-14 1 - 学而不思则罔老师好，一直不太明白skb_buff和sk_buff的区别，这两者有关系吗
作者回复: sk_buff一般是说内核数据接口，而 skb则是套接字缓存(socket buffer)
2019-04-10 1 
胡鹏我所知道的网络问题，就是服务器被ddos攻击，小规模，可以防，，，大规模防不了作者回复: 是的，大规模必须要专业的网络设备来抗
2019-03-20 1
张挺您好，请问，数据从网卡到应用程序或者应用程序到网卡，都会同时触发硬中断和软中断吗？2019-03-20 1
饼子遇到了程序分配大量链接，占用完程序最大打开文件数量，使用lsof 查看分析的作者回复: 嗯嗯，文件数量或者连接数量都可以看到
2019-02-20 1
玉剑冰锋您好老师，IP包分片，一个IP包分成多个分片，是如何保证接收方收一个完整的数据包的？作者回复: 根据 MTU 分片，分片里面会包含分片信息，所以接收后还可以组合起来。
2019-02-15 1
夜空中最亮的星（华仔）新年好，给老师拜个晚年，过年的课都落下了，抓紧时间赶上来。作者回复: 谢谢，新春快乐！
2019-02-14 1
佳使用InfiniBand网卡和InfiniBand交换机的时候， mtu如果配置65520的时候，通过http下载对象存储小文件比较慢，但是配置9000的时候大小文件都比较快。https://github.com/antirez/redis/issues/2385 Redis works very slow with MTU higher than packet size. 请问老师是什么原因作者回复: MTU大小的问题都是分片和重组导致的。后面有案例讲到分析内核中网络协议栈的行为，你可以到时候试着分析下这种场景
2019-02-13 1
陈云卿系统出口带宽被打满，导致大量请求超时作者回复: DDoS 😊
2019-02-06 1- Penn中断不均，连接跟踪打满
作者回复: 嗯 这是最常见的两个问题
2019-02-06 1 
sTone根据tcp网络模型的封装方式, 网络接口层mac地址, 但是internet是ip寻址, 难道每次接到网络包都要拆分到网络层找到对应的ip地址, 然后再决定下一步? 是不是先mac寻址再op寻址?2019-06-08
悟空打卡2019-06-07
收起评论