网络编程实战
盛延敏
前大众点评云平台首席架构师
立即订阅
6034 人已学习
课程目录
已完结 39 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 学好网络编程,需要掌握哪些核心问题?
免费
第一模块:基础篇 (9讲)
01 | 追古溯源:TCP/IP和Linux是如何改变世界的?
02 | 网络编程模型:认识客户端-服务器网络模型的基本概念
03丨套接字和地址:像电话和电话号码一样理解它们
04 | TCP三次握手:怎么使用套接字格式建立连接?
05 | 使用套接字进行读写:开始交流吧
06 | 嗨,别忘了UDP这个小兄弟
07 | What? 还有本地套接字?
08 | 工欲善其事必先利其器:学会使用各种工具
09丨答疑篇:学习网络编程前,需要准备哪些东西?
第二模块:提高篇 (10讲)
10 | TIME_WAIT:隐藏在细节下的魔鬼
11 | 优雅地关闭还是粗暴地关闭 ?
12 | 连接无效:使用Keep-Alive还是应用心跳来检测?
13 | 小数据包应对之策:理解TCP协议中的动态数据传输
14丨UDP也可以是“已连接”?
15 | 怎么老是出现“地址已经被使用”?
16 | 如何理解TCP的“流”?
17 | TCP并不总是“可靠”的?
18 | 防人之心不可无:检查数据的有效性
19丨提高篇答疑:如何理解TCP四次挥手?
期中复习周 (2讲)
期中大作业丨动手编写一个自己的程序吧!
免费
期中大作业丨题目以及解答剖析
免费
第三模块:性能篇 (12讲)
20 | 大名⿍⿍的select:看我如何同时感知多个I/O事件
21 | poll:另一种I/O多路复用
22 | 非阻塞I/O:提升性能的加速器
23 | Linux利器:epoll的前世今生
24 | C10K问题:高并发模型设计
25 | 使用阻塞I/O和进程模型:最传统的方式
26 | 使用阻塞I/O和线程模型:换一种轻量的方式
27 | I/O多路复用遇上线程:使用poll单线程处理所有I/O事件
28 | I/O多路复用进阶:子线程使用poll处理连接I/O事件
29 | 渐入佳境:使用epoll和多线程模型
30 | 真正的大杀器:异步I/O探索
31丨性能篇答疑:epoll源码深度剖析
第四模块:实战篇 (4讲)
32 | 自己动手写高性能HTTP服务器(一):设计和思路
33 | 自己动手写高性能HTTP服务器(二):I/O模型和多线程模型实现
34 | 自己动手写高性能HTTP服务器(三):TCP字节流处理和HTTP协议实现
35 | 答疑:编写高性能网络编程框架时,都需要注意哪些问题?
结束语 (1讲)
结束语丨我相信这不是结束,让我们江湖再见
网络编程实战
登录|注册

20 | 大名⿍⿍的select:看我如何同时感知多个I/O事件

盛延敏 2019-09-23
你好,我是盛延敏,这里是网络编程实战的第 20 讲,欢迎回来。
这一讲是性能篇的第一讲。在性能篇里,我们将把注意力放到如何设计高并发高性能的网络服务器程序上。我希望通过这一模块的学习,让你能够掌握多路复用、异步 I/O、多线程等知识,从而可以写出支持并发 10K 以上的高性能网络服务器程序。
还等什么呢?让我们开始吧。

什么是 I/O 多路复用

第 11 讲中,我们设计了这样一个应用程序,该程序从标准输入接收数据输入,然后通过套接字发送出去,同时,该程序也通过套接字接收对方发送的数据流。
我们可以使用 fgets 方法等待标准输入,但是一旦这样做,就没有办法在套接字有数据的时候读出数据;我们也可以使用 read 方法等待套接字有数据返回,但是这样做,也没有办法在标准输入有数据的情况下,读入数据并发送给对方。
I/O 多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做 I/O 的一路,多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。
像刚才的例子,使用 I/O 复用以后,如果标准输入有数据,立即从标准输入读入数据,通过套接字发送出去;如果套接字有数据可以读,立即可以读出数据。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《网络编程实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(15)

  • Keep-Moving
    allreads = {0, 3};
    老师,这一步是怎么实现的?没看出来

    作者回复: 逐个解释一下:
    1.FD_ZERO(&allreads);
    所有的位置设置为0;
      
    2. FD_SET(0, &allreads);
    将描述字0的对应位置设置为1;
      
    3.FD_SET(socket_fd, &allreads);
    将监听套接字的对应位置设置为1。

    这样就得到了allreads = {0, 3}。

    2019-09-23
    3
    4
  • 莫珣
    我有些疑问,select的FD数组大小默认是1024,但是Linux的文件描述符大小一定不是1024,假设现在使用ulimit将一个进程可以打开的文件数设置成了65535,那么大于1024的文件描述符怎么加到FD数组中去呢,如果按照文本里说的,文件描述符代表数组下标的话不就加不进去了?

    第二个问题,套接字有两个属性,接收低水位线和发送低水位线,当接收缓冲区中待接收的字节数大于接收低水位线,一个可读事件产生,那么如果永远都不能达到接收低水位线呢?

    作者回复: 第一个问题,我理解是加不进去的,你不妨设计一个程序验证一下。

    第二个问题,首先,这个值是可以调整的,我记得默认值即使1个byte,也就是说有数据就可以感知到;第二,如果一直达不到接收watermark,我理解不是一个正常的网络交互过程,正常的网络交互肯定是像流一样,不断有数据接收。

    2019-09-23
    1
    4
  • 安排
    第一道:可以,就绪条件是有数据可读(检测可读事件)。是否可以监测可写事件不太清楚,没有实验过。

    第二道:不一定需要传入,那样的话内核中for循环需要遍历整个集合,效率低。传入基数可以减小遍历范围,提高效率。

    当然,api既然设计成这样了,那肯定需要传入一个数了。
    2019-09-23
    4
  • 无名
    对于套接字可写状态中说的:套接字发送缓冲区足够大,怎么样算足够大呢?

    作者回复: 实际上,只要有一个字节可以被写入,就是状态可写的。

    2019-11-04
    1
  • 我也曾是少年
    老师,我看了一部分开源代码,golang的,我发现大多数有名的项目他们并发写套接字的时候,都是用一个阻塞对列,既向一个没有容量的channel中写,只有接收端接了,发送端才会继续往下面走,我觉得别人这么做肯定是有原因的,但是我摸不透,所以将这问题定位到并发写套接字上,不知老师对这问题怎么看
    2019-10-20
    2
    1
  • 无名
    size_t rt = write(socket_fd, send_line, strlen(send_line));
    if (rt < 0) {
         error(1, errno, "write failed ");
     }
    这个代码中有错吧,应该将size_t改为sszie_t,size_t为unsigned long,这样错误-1被转换了。

    作者回复: 是的,感谢指出。

    2019-09-27
    1
  • godtrue
    1:I/O 多路复用的设计初衷就是解决这样的场景,把标准输入、套接字等都看做 I/O 的一路,多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。
    2:select 函数就是这样一种常见的 I/O 多路复用技术,使用 select 函数,通知内核挂起进程,当一个或多个 I/O 事件发生后,控制权返还给应用程序,由应用程序进行 I/O 事件的处理。

    int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout);

    返回:若有就绪描述符则为其数目,若超时则为 0,若出错则为 -1

    在这个函数中,maxfd 表示的是待测试的描述符基数,它的值是待测试的最大描述符加 1。
    紧接着的是三个描述符集合,分别是读描述符集合 readset、写描述符集合 writeset 和异常描述符集合 exceptset,这三个分别通知内核,在哪些描述符上检测数据可以读,可以写和有异常发生。
    三个描述符集合中的每一个都可以设置成空,这样就表示不需要内核进行相关的检测。
    timeout设置成不同的值,会有不同的可能:
    第一个可能是设置成空 (NULL),表示如果没有 I/O 事件发生,则 select 一直等待下去。
    第二个可能是设置一个非零的值,这个表示等待固定的一段时间后从 select 阻塞调用中返回。
    第三个可能是将 tv_sec 和 tv_usec 都设置成 0,表示根本不等待,检测完毕立即返回。这种情况使用得比较少。

    3:内核通知我们套接字有数据可以读了,使用 read 函数不会阻塞。
    内核通知我们套接字可以往里写了,使用 write 函数就不会阻塞。

    读了几遍,感觉还是没有抓住核心,所以,就将文中的要点摘录下来。
    对IO多路复用的大概理解是,通过select函数去监听一组文件描述符,如果有事件就绪就交给应用程序去做对应的处理。

    作者回复: 总结得已经很到位了呀

    2019-11-24
  • zmysang
    为什么描述字集合{0,1,4},对应的 maxfd 是 5,而不是 4,就比较方便了。因为这个向量对应的是下面这样的:a[4],a[3],a[2],a[1],a[0],待测试的描述符个数显然是 5。
    请问老师这里的意思是假设待检测的描述字集合是{0,100},那么实际上select函数会判断0-100这101个fd中值为1的fd,然后对其检测吗?

    作者回复: 是的。

    2019-11-18
  • 打奥特曼的小怪兽
    关于 FD_SET() 函数,debug看了下内存结构,{0,3} 如果设置了,实际上存储的是 2^0 + 2^3 = 9,并不会像图示的在每个位置上设置1。

    作者回复: 我的意思就是00001001,在bit位上设置为1, 转换为10进制就是9。

    2019-11-06
  • GeekAmI
    问题2:没有看过源码,猜测应该有循环挂载描述符对应事件的过程。如果不传的话,可能只能按照最大的循环了(1024),作为系统函数,执行效率需要优化到极致...
    2019-10-25
  • 星辰
    老师 我问两个基础问题啊:

    1. 实际上,很多系统是用一个整型数组来表示一个描述字集合的,一个 32 位的整型数可以表示 32 个描述字,例如第一个整型数表示 0-31 描述字,第二个整型数可以表示 32-63 描述字,以此类推。

    意思是: int num;
                  int arr[num];
                  arr[0] 表示0~31描述字
                  arr[1] 表示32~63描数字
                  ……
                 arr[num-1] 表示 nun-1*32 ~ num-1*32 + 1描述字
    这样吗?

    2. 这个时候再来理解为什么描述字集合{0,1,4},对应的 maxfd 是 5,而不是 4,就比较方便了。

    因为这个向量对应的是下面这样的:


    a[4],a[3],a[2],a[1],a[0]
    复制代码

    待测试的描述符个数显然是 5, 而不是 4。

    三个描述符集合中的每一个都可以设置成空,这样就表示不需要内核进行相关的检测。

    这里的意思是 a[0] = NULL a[1] = NULL a[4] = NULL
    是这个意思吗?

    作者回复: 是的,应该是a[0]=0,a[1]=0,全部置为0.

    2019-09-27
  • 传说中的成大大
    第一问 我记得管道是写了以后必须要等待对方读走才可以继续进行写操作,所以可以用select进行检测的
    第二问 要从怎么存储描述符集合当做的描述符来理解, 利用数组下标随机访问的特性,来提高运行效率,毕竟是内核运行的
    2019-09-24
  • Better me
    比如现在的 select 待测试的描述符集合是{0,1,4},那么 maxfd 就是 5。这个不太懂,老师能在解释下吗

    作者回复: maxfd表示的是"个数",比如这里{0,1,4},它对应的个数应用是5。就像一个大小为5的数组,每个数组元素的下标分别是{0,1,2,3,4},数组的"个数"是4+1=5。

    2019-09-23
    2
  • 向东
    32位整数,那么该数组的第一个元素对应于描述字0~31,第二个元素对应于描述字32~63,依此类推。 没读懂,解答一下?多谢🙏

    作者回复: 32位整数,一共有32个bit位,每个bit位可以表示两种状态,0或者1,如果开启检测就将bit设置为1,否则设置为0。像下面这样:
    00000000 00000000 00000000 10010010

    这个32bit分别表示了描述字7,4和1设置为1,其他的设置为0。这里表示的对应描述字0-31。

    2019-09-23
  • Linuxer
    第二题是为了减少检测的范围吧
    2019-09-23
    1
收起评论
15
返回
顶部