Linux性能优化实战
倪朋飞
微软资深工程师,Kubernetes项目维护者
立即订阅
23395 人已学习
课程目录
已完结 64 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (2讲)
开篇词 | 别再让Linux性能问题成为你的绊脚石
免费
01 | 如何学习Linux性能优化?
CPU 性能篇 (13讲)
02 | 基础篇:到底应该怎么理解“平均负载”?
03 | 基础篇:经常说的 CPU 上下文切换是什么意思?(上)
04 | 基础篇:经常说的 CPU 上下文切换是什么意思?(下)
05 | 基础篇:某个应用的CPU使用率居然达到100%,我该怎么办?
06 | 案例篇:系统的 CPU 使用率很高,但为啥却找不到高 CPU 的应用?
07 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(上)
08 | 案例篇:系统中出现大量不可中断进程和僵尸进程怎么办?(下)
09 | 基础篇:怎么理解Linux软中断?
10 | 案例篇:系统的软中断CPU使用率升高,我该怎么办?
11 | 套路篇:如何迅速分析出系统CPU的瓶颈在哪里?
12 | 套路篇:CPU 性能优化的几个思路
13 | 答疑(一):无法模拟出 RES 中断的问题,怎么办?
14 | 答疑(二):如何用perf工具分析Java程序?
内存性能篇 (8讲)
15 | 基础篇:Linux内存是怎么工作的?
16 | 基础篇:怎么理解内存中的Buffer和Cache?
17 | 案例篇:如何利用系统缓存优化程序的运行效率?
18 | 案例篇:内存泄漏了,我该如何定位和处理?
19 | 案例篇:为什么系统的Swap变高了(上)
20 | 案例篇:为什么系统的Swap变高了?(下)
21 | 套路篇:如何“快准狠”找到系统内存的问题?
22 | 答疑(三):文件系统与磁盘的区别是什么?
I/O 性能篇 (10讲)
23 | 基础篇:Linux 文件系统是怎么工作的?
24 | 基础篇:Linux 磁盘I/O是怎么工作的(上)
25 | 基础篇:Linux 磁盘I/O是怎么工作的(下)
26 | 案例篇:如何找出狂打日志的“内鬼”?
27 | 案例篇:为什么我的磁盘I/O延迟很高?
28 | 案例篇:一个SQL查询要15秒,这是怎么回事?
29 | 案例篇:Redis响应严重延迟,如何解决?
30 | 套路篇:如何迅速分析出系统I/O的瓶颈在哪里?
31 | 套路篇:磁盘 I/O 性能优化的几个思路
32 | 答疑(四):阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系
网络性能篇 (13讲)
33 | 关于 Linux 网络,你必须知道这些(上)
34 | 关于 Linux 网络,你必须知道这些(下)
35 | 基础篇:C10K 和 C1000K 回顾
36 | 套路篇:怎么评估系统的网络性能?
37 | 案例篇:DNS 解析时快时慢,我该怎么办?
38 | 案例篇:怎么使用 tcpdump 和 Wireshark 分析网络流量?
39 | 案例篇:怎么缓解 DDoS 攻击带来的性能下降问题?
40 | 案例篇:网络请求延迟变大了,我该怎么办?
41 | 案例篇:如何优化 NAT 性能?(上)
42 | 案例篇:如何优化 NAT 性能?(下)
43 | 套路篇:网络性能优化的几个思路(上)
44 | 套路篇:网络性能优化的几个思路(下)
45 | 答疑(五):网络收发过程中,缓冲区位置在哪里?
综合实战篇 (13讲)
46 | 案例篇:为什么应用容器化后,启动慢了很多?
47 | 案例篇:服务器总是时不时丢包,我该怎么办?(上)
48 | 案例篇:服务器总是时不时丢包,我该怎么办?(下)
49 | 案例篇:内核线程 CPU 利用率太高,我该怎么办?
50 | 案例篇:动态追踪怎么用?(上)
51 | 案例篇:动态追踪怎么用?(下)
52 | 案例篇:服务吞吐量下降很厉害,怎么分析?
53 | 套路篇:系统监控的综合思路
54 | 套路篇:应用监控的一般思路
55 | 套路篇:分析性能问题的一般步骤
56 | 套路篇:优化性能问题的一般方法
57 | 套路篇:Linux 性能工具速查
58 | 答疑(六):容器冷启动如何性能分析?
加餐篇 (4讲)
加餐(一) | 书单推荐:性能优化和Linux 系统原理
加餐(二) | 书单推荐:网络原理和 Linux 内核实现
用户故事 | “半路出家 ”,也要顺利拿下性能优化!
用户故事 | 运维和开发工程师们怎么说?
结束语 (1讲)
结束语 | 愿你攻克性能难关
Linux性能优化实战
登录|注册

43 | 套路篇:网络性能优化的几个思路(上)

倪朋飞 2019-03-01
你好,我是倪朋飞。
上一节,我们了解了 NAT(网络地址转换)的原理,学会了如何排查 NAT 带来的性能问题,最后还总结了 NAT 性能优化的基本思路。我先带你简单回顾一下。
NAT 基于 Linux 内核的连接跟踪机制,实现了 IP 地址及端口号重写的功能,主要被用来解决公网 IP 地址短缺的问题。
在分析 NAT 性能问题时,可以先从内核连接跟踪模块 conntrack 角度来分析,比如用 systemtap、perf、netstat 等工具,以及 proc 文件系统中的内核选项,来分析网络协议栈的行为;然后,通过内核选项调优、切换到无状态 NAT、使用 DPDK 等方式,进行实际优化。
通过前面的学习,你应该已经体会到,网络问题比我们前面学过的 CPU、内存或磁盘 I/O 都要复杂。无论是应用层的各种 I/O 模型,冗长的网络协议栈和众多的内核选项,抑或是各种复杂的网络环境,都提高了网络的复杂性。
不过,也不要过分担心,只要你掌握了 Linux 网络的基本原理和常见网络协议的工作流程,再结合各个网络层的性能指标来分析,你会发现,定位网络瓶颈并不难。
找到网络性能瓶颈后,下一步要做的就是优化了,也就是如何降低网络延迟,并提高网络的吞吐量。学完相关原理和案例后,我就来讲讲,优化网络性能问题的思路和一些注意事项。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Linux性能优化实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(22)

  • 于欣磊
    网络学习吃力的同学,先去把林沛满老师两本Wireshark分析网络看完,不建议一上来直接看TCP、IP两卷,之所以吃力就是纯理论看起来没有体感,理解不深,看完就忘记了。而WireShark书帮我们增加了体感
    2019-03-01
    1
    16
  • ninuxer
    打卡day45
    套路篇总是干货满满,只能靠死记硬背了
    网络是我的硬伤,而且看网络的书,比如 tcp/ip协议卷 总是没办法啃到底~最高峰也才看到一百六十多页😳
    2019-03-01
    4
  • allan
    老师,您好,问一下 套接字接收发送缓冲区和TCP接收发送缓冲区,是相同的吗?我的理解这两个应该是相同的缓冲区,只是套接字选项的设置是针对单个套接字,而对 TCP接收发送缓冲区的设置,针对的是 全局的所有套接字 ,是这样理解吗?请老师指教。

    作者回复: 是的,内核选项的范围是全局的,套接字接口里面设置的是单个

    2019-03-30
    1
    2
  • 腾达
    tcp_rmem、 tcp_wmem以及其他几个所对应的缓冲区的使用情况,有工具可以查看吗? 像类似“watch -d cat /proc/softirqs” 这样可以观察到缓冲区的变化。另外有图形界面工具吗?查看套接字缓冲区、TCP缓冲区大小变化的图形工具? 另外再问一下,套接字缓冲区、TCP缓冲区 这2个有什么区别吗?

    作者回复: 可以通过 /proc/net/sockstat、ss 这些工具来查看。图形界面也有很多,不过一般都是内置在监控系统里面,通过 Web 的方式来展示。比如 zabbix、Nagios等等

    2019-03-01
    2
  • J!
    对于kill -9 进程这样的情况,已建立的tcp连接如何处理,还是由操作系统主动回收?

    作者回复: 系统会回收掉

    2019-03-03
    1
  • xfan
    老师,我是用bpftools生成了一个过滤规则的字节码bytecode,bpfgen dns -- *.www.example.uk,这个规则怎么样加到网卡驱动上去呢,就是怎么安装到 linux18.04 上去呢.我知道load_bpf_file 这个方法,但是我在哪调用呢,老师给我一个思路,我想自己实现一套关于动态使用XDP拦截包的项目

    作者回复: 可以去参考一下XDP的文档https://prototype-kernel.readthedocs.io/en/latest/networking/XDP/index.html

    2019-03-02
    1
  • 科学Jia
    老师,想问问您:现在我遇到应用程序在负载测试中可能处理速度慢造成了消息响应延迟,我该用什么方法或者工具去查看这个应用程序里每个方法的时间调用?像perf这个工具可以看每个调用方法的cpu利用率一样?

    作者回复: 实际上没有通用的方法,uprobe应该是可以用的,不过使用起来还是比较麻烦的。推荐的做法是在应用内部提供metrics 接口,这个接口内部统计每个方法的调用情况。

    2019-03-01
    1
  • 怀特
    我之前做过一个优化项目。该项目需要实现一个C/S结构的程序,发送URL给服务器,服务器返回URL的类别,比如属于军事,还是属于体育。
          当时在局域网环境下,性能较差,我经过分析之后,“感觉“瓶颈在网络,是因为每个包的有效负载太小,所以改进策略是将多个url拼接在一起再发送出去,然后解析返回的结果给每个url。拼接过程和解析过程都是我自己实现的。
          听了倪工的讲座,再回顾当时的实现,能看到当时的不足:我找到了问题的症结所在,但却用了很笨的实现方法来改进。貌似在套接字层增加TCP_CORE,然后在应用程序层将处理改为异步非阻塞的,就可以了吧?
          收获颇多,谢谢倪工。

    作者回复: 不一定非要异步,但非阻塞、epoll 是比较通用的网络性能优化方法

    2019-03-01
    1
  • 明翼
    跟上了,但是看的有点粗,这个系列我要多看几遍,性能问题无非CPU 内存 IO 网络,感谢老师的课程,对这类问题心理有底了,很喜欢去挑战问题了😁好想加老师微信,大神可以不😳

    作者回复: 我们专栏有个微信群可以加入

    2019-03-01
    2
    1
  • 耿长学
    老师,我想咨询下tcp_mem满了如何排查,tcp_mem满了之后新的连接进不来,dmesg看到有tcp_mem:out of mem的提示

    作者回复: cat /proc/sys/net/ipv4/tcp_mem 查看配置
    cat /proc/net/sockstat 查看当前tcp的统计

    然后可以通过 sysctl -w net.ipv4.tcp_mem=新配置 来增大

    2019-07-20
  • 学而不思则罔
    老师好,
    请教下读缓冲区和接收窗口、写缓冲区和发送窗口之间是否有关系?我分不清他们之间的区别。
    谢谢。
    2019-05-22
  • ThinkerWalker
    你好老师,不太理解套接字收发缓冲区和tcp收发缓冲区的区别,麻烦详细讲解一下。
    2019-05-06
  • tinsang
    你好 项目里发现个问题,服务器centos6.5开启tcp服务,客户端每秒100个请求,发现io负载偏高,当前服务端只是接收请求计算 ,cpu使用率也很低,请问如何去定位问题呢

    作者回复: 请参考I/O模块排查IO问题

    2019-04-29
  • 东宇
    您好老师,我想咨询下 我们的接受程序A是10个线程,每个线程又连接90个程序B,每个线程连接90个程序B都是相同的,程序A也是个接受程序,现在发现程序A的socket的tcp接受缓存出现堵的现象,而且tcp缓存不变化,我想咨询下,如果程序A不连接程序B,tcp不会出现堵,是socket数量太多,导致tcp缓存堵吗。
    2019-04-25
  • 如果
    DAY43,打卡
    2019-04-10
  • Maxwell
    iperf测试的网络带宽是1G,那如果1个线程需要消耗2mb,压测的时候是不是就可以支持500个线程?也就是说超过500线程网络就成为瓶颈了?

    作者回复: 线程数还受限于CPU,不只是网络带宽

    2019-03-25
  • 青石
    做视频业务时,公司产品Recorder用来收录组播视频源,收录下来的视频每间隔一段时间就会出现马赛克问题。

    最初从日志和监控中,发现出现马赛克的时间点,进程在做写操作,同时监控上的磁盘IO也比较大,但并没有达到瓶颈。

    后来发现网卡UDP的packet receive errors不断增大。和研发确认后,代码上接收和写是同一个进程。当时怀疑的原因是,使用同步IO导致进程阻塞,阻塞时间长导致接收缓慢,UDP缓存被占满直接丢包,调大UDP的缓冲区后,也只是缓解问题发生的频率,并没有解决。和研发提出改成异步IO,研发直接拒绝,现场自己想办法。

    没办法,只能申请服务器,增加收录服务器数量、调大缓冲区,降低磁盘IO,减少问题出现的概率。
    2019-03-20
  • cliff(亮剑)
    老师好, 说实在,学了两边还是不明白如下数据之间的关系:

    SO_RCVBUFF, net/core/optmem_max,
    net/core/rmem_max,
    net/ipv4/tcp_rmem 和net/ipv4/tcp_mem

    比如有如下的测试环境:
    1)服务器端:
    应用程序开了10个tcp服务器socket,每个设置10K SO_RCVBUFF
    设置系统参数如下:
    net/core/optmem_max = 10K
    net/core/rmem_max =100K
    net/ipv4/tcp_rmem 4k 16K 80K
    net/ipv4/tcp_mem 40K 50K 120K
    2)客户端轮流发送TCP消息给服务器:
    那假设服务器的应用忙, 所有10个TCP的buffer能缓存100K的TCP数据么?
    如果不能, 如何调整系统参数可以满足缓存100K的数据?
    先谢谢老师

    作者回复: 内核配置选项是全局的,对所有socket生效;系统调用针对的是单个socket,他们的总和受限于内核配置

    2019-03-10
  • dancer
    老师的小表格和小抄差不多了,打印出来贴在办公桌上
    2019-03-08
  • xfan
    文档很详细,感谢
    2019-03-05
收起评论
22
返回
顶部