43 | 套路篇：网络性能优化的几个思路（上）

精选留言(22)

• 

  于欣磊

  网络学习吃力的同学，先去把林沛满老师两本Wireshark分析网络看完，不建议一上来直接看TCP、IP两卷，之所以吃力就是纯理论看起来没有体感，理解不深，看完就忘记了。而WireShark书帮我们增加了体感

  2019-03-01

   1

   16
• 

  ninuxer

  打卡day45
  套路篇总是干货满满，只能靠死记硬背了
  网络是我的硬伤，而且看网络的书，比如 tcp/ip协议卷 总是没办法啃到底～最高峰也才看到一百六十多页😳

  2019-03-01

  

   4
• 

  allan

  老师，您好，问一下 套接字接收发送缓冲区和TCP接收发送缓冲区，是相同的吗？我的理解这两个应该是相同的缓冲区，只是套接字选项的设置是针对单个套接字，而对 TCP接收发送缓冲区的设置，针对的是 全局的所有套接字 ，是这样理解吗？请老师指教。

  作者回复: 是的，内核选项的范围是全局的，套接字接口里面设置的是单个
  

  2019-03-30

   1

   2
• 

  腾达

  tcp_rmem、 tcp_wmem以及其他几个所对应的缓冲区的使用情况，有工具可以查看吗？ 像类似“watch -d cat /proc/softirqs” 这样可以观察到缓冲区的变化。另外有图形界面工具吗？查看套接字缓冲区、TCP缓冲区大小变化的图形工具？ 另外再问一下，套接字缓冲区、TCP缓冲区 这2个有什么区别吗？
  

  作者回复: 可以通过 /proc/net/sockstat、ss 这些工具来查看。图形界面也有很多，不过一般都是内置在监控系统里面，通过 Web 的方式来展示。比如 zabbix、Nagios等等

  2019-03-01

  

   2
• 

  J!

  对于kill -9 进程这样的情况，已建立的tcp连接如何处理，还是由操作系统主动回收？

  作者回复: 系统会回收掉

  2019-03-03

  

   1
• 

  xfan

  老师，我是用bpftools生成了一个过滤规则的字节码bytecode，bpfgen dns -- *.www.example.uk，这个规则怎么样加到网卡驱动上去呢，就是怎么安装到 linux18.04 上去呢.我知道load_bpf_file 这个方法，但是我在哪调用呢，老师给我一个思路，我想自己实现一套关于动态使用XDP拦截包的项目

  作者回复: 可以去参考一下XDP的文档https://prototype-kernel.readthedocs.io/en/latest/networking/XDP/index.html

  2019-03-02

  

   1
• 

  科学Jia

  老师，想问问您：现在我遇到应用程序在负载测试中可能处理速度慢造成了消息响应延迟，我该用什么方法或者工具去查看这个应用程序里每个方法的时间调用？像perf这个工具可以看每个调用方法的cpu利用率一样？

  作者回复: 实际上没有通用的方法，uprobe应该是可以用的，不过使用起来还是比较麻烦的。推荐的做法是在应用内部提供metrics 接口，这个接口内部统计每个方法的调用情况。

  2019-03-01

  

   1
• 

  怀特

  我之前做过一个优化项目。该项目需要实现一个C/S结构的程序，发送URL给服务器，服务器返回URL的类别，比如属于军事，还是属于体育。
        当时在局域网环境下，性能较差，我经过分析之后，“感觉“瓶颈在网络，是因为每个包的有效负载太小，所以改进策略是将多个url拼接在一起再发送出去，然后解析返回的结果给每个url。拼接过程和解析过程都是我自己实现的。
        听了倪工的讲座，再回顾当时的实现，能看到当时的不足：我找到了问题的症结所在，但却用了很笨的实现方法来改进。貌似在套接字层增加TCP_CORE，然后在应用程序层将处理改为异步非阻塞的，就可以了吧？
        收获颇多，谢谢倪工。

  作者回复: 不一定非要异步，但非阻塞、epoll 是比较通用的网络性能优化方法

  2019-03-01

  

   1
• 

  明翼

  跟上了，但是看的有点粗，这个系列我要多看几遍，性能问题无非CPU 内存 IO 网络，感谢老师的课程，对这类问题心理有底了，很喜欢去挑战问题了😁好想加老师微信，大神可以不😳

  作者回复: 我们专栏有个微信群可以加入

  2019-03-01

   2

   1
• 

  耿长学

  老师，我想咨询下tcp_mem满了如何排查，tcp_mem满了之后新的连接进不来，dmesg看到有tcp_mem：out of mem的提示

  作者回复: cat /proc/sys/net/ipv4/tcp_mem 查看配置
  cat /proc/net/sockstat 查看当前tcp的统计
  
  然后可以通过 sysctl -w net.ipv4.tcp_mem=新配置 来增大
  

  2019-07-20

  

  
• 

  学而不思则罔

  老师好，
  请教下读缓冲区和接收窗口、写缓冲区和发送窗口之间是否有关系？我分不清他们之间的区别。
  谢谢。

  2019-05-22

  

  
• 

  ThinkerWalker

  你好老师，不太理解套接字收发缓冲区和tcp收发缓冲区的区别，麻烦详细讲解一下。

  2019-05-06

  

  
• 

  tinsang

  你好 项目里发现个问题，服务器centos6.5开启tcp服务，客户端每秒100个请求，发现io负载偏高，当前服务端只是接收请求计算 ，cpu使用率也很低，请问如何去定位问题呢

  作者回复: 请参考I/O模块排查IO问题

  2019-04-29

  

  
• 

  东宇

  您好老师，我想咨询下 我们的接受程序A是10个线程，每个线程又连接90个程序B，每个线程连接90个程序B都是相同的，程序A也是个接受程序，现在发现程序A的socket的tcp接受缓存出现堵的现象，而且tcp缓存不变化，我想咨询下，如果程序A不连接程序B，tcp不会出现堵，是socket数量太多，导致tcp缓存堵吗。

  2019-04-25

  

  
• 

  如果

  DAY43，打卡

  2019-04-10

  

  
• 

  Maxwell

  iperf测试的网络带宽是1G,那如果1个线程需要消耗2mb,压测的时候是不是就可以支持500个线程？也就是说超过500线程网络就成为瓶颈了？

  作者回复: 线程数还受限于CPU，不只是网络带宽

  2019-03-25

  

  
• 

  青石

  做视频业务时，公司产品Recorder用来收录组播视频源，收录下来的视频每间隔一段时间就会出现马赛克问题。
  
  最初从日志和监控中，发现出现马赛克的时间点，进程在做写操作，同时监控上的磁盘IO也比较大，但并没有达到瓶颈。
  
  后来发现网卡UDP的packet receive errors不断增大。和研发确认后，代码上接收和写是同一个进程。当时怀疑的原因是，使用同步IO导致进程阻塞，阻塞时间长导致接收缓慢，UDP缓存被占满直接丢包，调大UDP的缓冲区后，也只是缓解问题发生的频率，并没有解决。和研发提出改成异步IO，研发直接拒绝，现场自己想办法。
  
  没办法，只能申请服务器，增加收录服务器数量、调大缓冲区，降低磁盘IO，减少问题出现的概率。

  2019-03-20

  

  
• 

  cliff(亮剑)

  老师好， 说实在，学了两边还是不明白如下数据之间的关系：
  
  SO_RCVBUFF, net/core/optmem_max，
  net/core/rmem_max，
  net/ipv4/tcp_rmem 和net/ipv4/tcp_mem
  
  比如有如下的测试环境：
  1）服务器端:
  应用程序开了10个tcp服务器socket，每个设置10K SO_RCVBUFF
  设置系统参数如下:
  net/core/optmem_max = 10K
  net/core/rmem_max =100K
  net/ipv4/tcp_rmem 4k 16K 80K
  net/ipv4/tcp_mem 40K 50K 120K
  2）客户端轮流发送TCP消息给服务器:
  那假设服务器的应用忙， 所有10个TCP的buffer能缓存100K的TCP数据么？
  如果不能， 如何调整系统参数可以满足缓存100K的数据？
  先谢谢老师

  作者回复: 内核配置选项是全局的，对所有socket生效；系统调用针对的是单个socket，他们的总和受限于内核配置

  2019-03-10

  

  
• 

  dancer

  老师的小表格和小抄差不多了，打印出来贴在办公桌上

  2019-03-08

  

  
• 

  xfan

  文档很详细，感谢

  2019-03-05

  

  