网络编程实战
盛延敏
前大众点评云平台首席架构师
44207 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 40 讲
网络编程实战
15
15
1.0x
00:00/00:00
登录|注册

20 | 大名⿍⿍的select:看我如何同时感知多个I/O事件

使用socket_fd+1表示待测试描述符基数
重新设置待测试描述符集合
重置待测试集合
描述符基数
套接字有错误待处理
连接的写半边已关闭
发送缓冲区足够大
套接字有错误待处理
监听套接字有已完成连接
对方发送FIN
接收缓冲区有数据
循环检测
设置待测试描述符
初始化描述符集合
一直等待
等待固定时间
不等待
FD_ISSET
FD_CLR
FD_SET
FD_ZERO
参数说明
通知内核挂起进程,处理I/O事件
常见的I/O多路复用技术
程序变成“多面手”,可以处理多个I/O事件
在任何一路I/O有“事件”发生时,通知应用程序处理相应的I/O事件
解决标准输入和套接字同时有数据的情况
编写支持并发10K以上的高性能网络服务器程序
掌握多路复用、异步I/O、多线程知识
多线程
异步I/O
多路复用
select函数传入描述字基数的设计目的
select对UNIX管道的检测
select函数使用要点
可写情况
可读情况
示例程序解析
时间参数
描述符集合设置
函数声明
select函数
多路复用意义
设计初衷
目标
高并发高性能的网络服务器程序设计
思考题
总结
套接字描述符就绪条件
程序例子
select函数的使用方法
I/O多路复用
性能篇

该思维导图由 AI 生成,仅供参考

你好,我是盛延敏,这里是网络编程实战的第 20 讲,欢迎回来。
这一讲是性能篇的第一讲。在性能篇里,我们将把注意力放到如何设计高并发高性能的网络服务器程序上。我希望通过这一模块的学习,让你能够掌握多路复用、异步 I/O、多线程等知识,从而可以写出支持并发 10K 以上的高性能网络服务器程序。
还等什么呢?让我们开始吧。

什么是 I/O 多路复用

第 11 讲中,我们设计了这样一个应用程序,该程序从标准输入接收数据输入,然后通过套接字发送出去,同时,该程序也通过套接字接收对方发送的数据流。
我们可以使用 fgets 方法等待标准输入,但是一旦这样做,就没有办法在套接字有数据的时候读出数据;我们也可以使用 read 方法等待套接字有数据返回,但是这样做,也没有办法在标准输入有数据的情况下,读入数据并发送给对方。
I/O 多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做 I/O 的一路,多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。
像刚才的例子,使用 I/O 复用以后,如果标准输入有数据,立即从标准输入读入数据,通过套接字发送出去;如果套接字有数据可以读,立即可以读出数据。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入介绍了网络编程中的I/O多路复用技术,重点讲解了select函数的使用方法和程序示例。通过详细解释select函数的使用方法,包括参数设置、描述符集合操作以及时间设置,读者可以快速了解select函数的实际应用。文章还提供了一个具体的程序例子,展示了select函数在初始化描述符集合、循环检测可读事件并处理等步骤中的实际应用。此外,作者还提出了两道思考题,引发读者对select函数的更深层次思考。通过本文的学习,读者可以快速了解select函数的使用方法和网络编程中I/O多路复用技术的实际应用,为设计高并发高性能的网络服务器程序提供了重要参考。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《网络编程实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(45)

  • 最新
  • 精选
  • 拂尘
    我一直很好奇,为啥说select函数对fd有1024的限制,找了点资料共勉: 首先,man select,搜索FD_SETSIZE会看到如下的内容 An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor. 其中最关键的是FD_SETSIZE,是在bitmap位图运算的时候会受到他的影响 其次,sys/select.h头文件有如下定义: #define FD_SETSIZE __FD_SETSIZE typesizes.h头文件有如下定义: #define __FD_SETSIZE 1024 由此,终于看到了1024的准确限制。 同时man里也说明了一个限制,不是0-1023的fd会导致未定义的行为。

    作者回复: 赞,为大家找到了原始的出处,证明我不是在瞎BB,哈哈。

    2020-02-29
    3
    51
  • Keep-Moving
    allreads = {0, 3}; 老师,这一步是怎么实现的?没看出来

    作者回复: 逐个解释一下: 1.FD_ZERO(&allreads); 所有的位置设置为0; 2. FD_SET(0, &allreads); 将描述字0的对应位置设置为1; 3.FD_SET(socket_fd, &allreads); 将监听套接字的对应位置设置为1。 这样就得到了allreads = {0, 3}。

    2019-09-23
    9
    16
  • 无名
    对于套接字可写状态中说的:套接字发送缓冲区足够大,怎么样算足够大呢?

    作者回复: 实际上,只要有一个字节可以被写入,就是状态可写的。

    2019-11-04
    4
    14
  • 1:I/O 多路复用的设计初衷就是解决这样的场景,把标准输入、套接字等都看做 I/O 的一路,多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。 2:select 函数就是这样一种常见的 I/O 多路复用技术,使用 select 函数,通知内核挂起进程,当一个或多个 I/O 事件发生后,控制权返还给应用程序,由应用程序进行 I/O 事件的处理。 int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout); 返回:若有就绪描述符则为其数目,若超时则为 0,若出错则为 -1 在这个函数中,maxfd 表示的是待测试的描述符基数,它的值是待测试的最大描述符加 1。 紧接着的是三个描述符集合,分别是读描述符集合 readset、写描述符集合 writeset 和异常描述符集合 exceptset,这三个分别通知内核,在哪些描述符上检测数据可以读,可以写和有异常发生。 三个描述符集合中的每一个都可以设置成空,这样就表示不需要内核进行相关的检测。 timeout设置成不同的值,会有不同的可能: 第一个可能是设置成空 (NULL),表示如果没有 I/O 事件发生,则 select 一直等待下去。 第二个可能是设置一个非零的值,这个表示等待固定的一段时间后从 select 阻塞调用中返回。 第三个可能是将 tv_sec 和 tv_usec 都设置成 0,表示根本不等待,检测完毕立即返回。这种情况使用得比较少。 3:内核通知我们套接字有数据可以读了,使用 read 函数不会阻塞。 内核通知我们套接字可以往里写了,使用 write 函数就不会阻塞。 读了几遍,感觉还是没有抓住核心,所以,就将文中的要点摘录下来。 对IO多路复用的大概理解是,通过select函数去监听一组文件描述符,如果有事件就绪就交给应用程序去做对应的处理。

    作者回复: 总结得已经很到位了呀

    2019-11-24
    5
    12
  • 无名
    size_t rt = write(socket_fd, send_line, strlen(send_line)); if (rt < 0) { error(1, errno, "write failed "); } 这个代码中有错吧,应该将size_t改为sszie_t,size_t为unsigned long,这样错误-1被转换了。

    作者回复: 是的,感谢指出。

    2019-09-27
    11
  • 乔丹
    老师,两个疑问: 1. 为什么socket_fd一定是3呢? 2. 如果socket_fd = 2000, 那么传入select函数的值就是2001了, 这样不是大于1024了吗? 这个点我没有想通。

    作者回复: 1.这里是举一个例子,因为0,1,2分别是标准输入,标准输出和标准错误,3是接下来的第一个常见描述字。 2.select确实不能支持大于1024的描述字。

    2020-12-20
    10
  • awmthink
    老师,哪种场景下需要多路复用 “写描述符” 呢? 什么时候能写应用程序不知道吗?

    作者回复: 写描述符是当发送套接字缓冲区有空间时,要知道,应用程序不是什么时刻都可以不断网发送套接字缓冲区打收据,这样会把缓冲区打爆,所以多路复用写的意思就是告诉应用程序什么时候应该往发送套接字缓冲区打数据。

    2020-04-16
    7
  • 莫珣
    我有些疑问,select的FD数组大小默认是1024,但是Linux的文件描述符大小一定不是1024,假设现在使用ulimit将一个进程可以打开的文件数设置成了65535,那么大于1024的文件描述符怎么加到FD数组中去呢,如果按照文本里说的,文件描述符代表数组下标的话不就加不进去了? 第二个问题,套接字有两个属性,接收低水位线和发送低水位线,当接收缓冲区中待接收的字节数大于接收低水位线,一个可读事件产生,那么如果永远都不能达到接收低水位线呢?

    作者回复: 第一个问题,我理解是加不进去的,你不妨设计一个程序验证一下。 第二个问题,首先,这个值是可以调整的,我记得默认值即使1个byte,也就是说有数据就可以感知到;第二,如果一直达不到接收watermark,我理解不是一个正常的网络交互过程,正常的网络交互肯定是像流一样,不断有数据接收。

    2019-09-23
    2
    7
  • нáпの゛
    第一道题,理解管道也是文件,往管道输入数据和输出数据对应可读可写的就绪条件。 第二道题,我理解fd_set本身是数组,如果不传入描述字基数,无法得知fd_set的具体大小,应该是无法进行遍历操作的。

    作者回复: 基本正确哦。

    2020-09-01
    2
    4
  • rongyefeng
    “第一种是套接字发送缓冲区足够大,如果我们使用非阻塞套接字进行 write 操作,将不会被阻塞,直接返回。” 老师,请问这里是不是应该写成“如果我们使用阻塞套接字进行write操作......”才对?

    作者回复: 如果从套接字特性来说,确实是阻塞套接字,已经提交勘误。

    2020-05-19
    4
收起评论
显示
设置
留言
45
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部