Linux 性能优化实战
倪朋飞
资深 Linux 专家,Kubernetes 项目维护者
87256 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 65 讲
结束语 (1讲)
Linux 性能优化实战
15
15
1.0x
00:00/00:00
登录|注册

32 | 答疑(四):阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系

使用 InnoDB 引擎或第三方缓存应用
建议不完全依赖系统缓存
MyISAM 引擎的特点
系统缓存对磁盘 I/O 的加速作用
清理页缓存
弄清楚性能工具的原理和问题
需要加 -f 选项
Buffer 和 Cache 的增加
目录项缓存
使用 epoll
send() 操作
aio_read 异步读
read 系统调用
异步 I/O
同步 I/O
非阻塞 I/O
阻塞 I/O
DataService 应用停止后的影响
使用 strace 跟踪磁盘 I/O 进程
find 命令导致系统缓存升高
网络套接字接口示例
Linux I/O 调用示例
同步、异步 I/O
阻塞、非阻塞 I/O
“MySQL 案例”课后思考
“磁盘 I/O 延迟”课后思考
“文件系统”课后思考
答疑(四):阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系

该思维导图由 AI 生成,仅供参考

你好,我是倪朋飞。
专栏更新至今,四大基础模块的第三个模块——文件系统和磁盘 I/O 篇,我们就已经学完了。很开心你还没有掉队,仍然在积极学习思考和实践操作,并且热情地留言与讨论。
今天是性能优化的第四期。照例,我从 I/O 模块的留言中摘出了一些典型问题,作为今天的答疑内容,集中回复。同样的,为了便于你学习理解,它们并不是严格按照文章顺序排列的。
每个问题,我都附上了留言区提问的截屏。如果你需要回顾内容原文,可以扫描每个问题右下方的二维码查看。

问题 1:阻塞、非阻塞 I/O 与同步、异步 I/O 的区别和联系

文件系统的工作原理篇中,我曾经介绍了阻塞、非阻塞 I/O 以及同步、异步 I/O 的含义,这里我们再简单回顾一下。
首先我们来看阻塞和非阻塞 I/O。根据应用程序是否阻塞自身运行,可以把 I/O 分为阻塞 I/O 和非阻塞 I/O。
所谓阻塞 I/O,是指应用程序在执行 I/O 操作后,如果没有获得响应,就会阻塞当前线程,不能执行其他任务。
所谓非阻塞 I/O,是指应用程序在执行 I/O 操作后,不会阻塞当前的线程,可以继续执行其他的任务。
再来看同步 I/O 和异步 I/O。根据 I/O 响应的通知方式的不同,可以把文件 I/O 分为同步 I/O 和异步 I/O。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了阻塞、非阻塞 I/O 与同步、异步 I/O 的概念及其联系,以及文件系统和磁盘 I/O 相关内容。阻塞 I/O会导致线程阻塞,而非阻塞 I/O允许应用程序继续执行其他任务。同步 I/O通过系统调用告知应用程序 I/O 结果,而异步 I/O则是系统先告知应用程序收到了 I/O 请求,随后再去异步处理。文章还通过具体案例和示例,解释了系统缓存对磁盘 I/O 访问的影响,以及对 MyISAM 引擎的性能优化建议。通过本文,读者可以深入了解这些技术概念,以及如何优化磁盘 I/O 访问性能。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《Linux 性能优化实战》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(27)

  • 最新
  • 精选
  • eagle
    我根据我们自己实际应用中遇到的情况,试着回复一下两个问题: 安小依 的问题,df -h 显示占用100%,而关闭应用程序后,再次df -h是85%,这一般是因为该应用程序还有指向已删除文件的文件指针没有关闭,典型的比如日志文件,虽然在操作系统中用rm命令删除了,在相应的目录中已经没有该文件了,但如果应用中还有对应的文件指针没有关闭,则实际硬盘空间还不会释放,而应用程序被关闭时,实际空间才会释放。问题中更像是有些apk文件或处理后文件的文件指针没有释放。这种情况也可以通过 lsof | grep deleted 来找到这些文件。 lvy的out of memory的问题,可以先用free或top看一下可用内存是否确实没有了,如果确实是没有内存了,那再去研究内存的问题;还有一种常见情况,内存是充足的,文件描述符的个数或进程数达到上限了,那就得调整 ulimit,可以通过 ulimit -a (注意要用php的用户)来查看,关注open files和max user processes,这两个默认很小,1k和4k,建议调整到加两个0.

    作者回复: 谢谢😊

    2019-03-26
    4
    21
  • Maxwell
    Windows和linux有很大区别吧?如果想深入了解windows,有什么可以推荐的书吗?

    作者回复: Windows书籍最推荐的是《Windows Internals 7th edition》

    2019-03-14
    8
  • ninuxer
    打卡day33 感恩作者带来的分享,提前祝新年快乐!

    作者回复: 新年快乐!

    2019-02-01
    2
    8
  • Ivy
    老师您好,我最近在生产环境遇到一个问题,centos7频繁报错tcp out of memory ,访问页面时css文件响应头200,但是响应正文为空,我猜测就是因为tcp问题,有时候又能正常返回,每次重启php fpm就能解决问题,cat /proc/net/sockstat 的时候tcp 行mem值在fpm重启前后差距很大,同时tw状态的连接也很多,alloc也很大,我该怎么去找原因?能看到每个tw状态的连接占用多少tcp 内存吗?或者怎么查询php fpm为何没有释放tcp内存?

    作者回复: 可以考虑调整 tcp_max_tw_buckets、ip_conntrack_max、ip_conntrack 这些内核选项

    2019-02-19
    7
  • 没有昵称
    我觉得同步异步io的提问者并不是想要理解字面意思,而是想要了解内部的工作模式,之前看过一篇文章讲解的比较好,把io分成了几个阶段,不同类型的io每个阶段都干了什么,回头再找下

    作者回复: 欢迎分享一下链接

    2020-08-01
    3
    2
  • LA
    老师,看了您的文章,有个问题一直在困扰这我。文章所说进程不可中断状态有可能是因为等待io响应,那这里的等待io响应包括等待从套接字读取数据么?如果是包括的话对于阻塞io来讲岂不是只要有阻塞进程就一直处在不可中断状态,从而无法被kill信号杀掉?

    作者回复: 不包括套接字

    2019-06-01
    2
  • allan
    原文:DataService 停止后,bi iowait 都降到0,说明此时的所有数据都已经在系统的缓存中了。 这里所有数据指的是 数据库文件 中的数据 是吗?不包括索引。

    作者回复: 嗯,数据库文件

    2019-03-24
    2
  • blackpiglet
    老师,在工作中遇到了 Ubuntu 16.04 系统死机的问题,和性能优化并不直接相关,不过还是想问一下遇到这种问题该如何分析。我能想到的步骤是: 1. 看 /var/crash 下是否有 kernel panic 的记录; 2. 看 /var/log/syslog 下是否有应用程序异常记录; 3. 看服务器上主要的应用程序日志,是否有异常; 4. 查看是否有 coredump 文件; 5. 查看 IPMI 日志,是否有硬件异常。 有的时候这一趟下来,还是没有什么收获,请问老师有没有其他需要注意的?

    作者回复: 系统日志肯定是最有效的,一般都会留下一些线索。死机的时候,如果可以通过IPMI看到服务器的Console,那也有可能看到一些线索(比如内核中的错误或者内核栈等等)。

    2019-02-01
    2
  • geraltlaush
    老师,读文件系统的内容不会引起buffer升高吧,读块设备会引起,我做了文章的实验发现 r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 1620788 0 431512 0 0 348 70 415 585 2 4 94 0 0 0 0 0 1618488 0 431948 0 0 480 0 1605 2056 1 4 96 0 0 0 0 0 1619524 0 431788 0 0 16 0 1157 1674 1 2 97 0 0 2 0 0 1499696 0 548464 0 0 116905 281 5084 7062 3 14 82 1 0 2 0 0 1495664 0 552444 0 0 4964 125 2996 4413 2 6 92 0 0 2 0 0 1329960 0 646564 0 0 34028 0 8495 10589 21 24 53 1 0 2 0 0 1152440 0 769524 0 0 142805 206 13584 16541 19 32 48 1 0 3 0 0 1112028 0 783200 0 0 44753 86 14794 20490 19 23 57 0 0 0 0 0 1050900 0 809624 0 0 36540 0 8927 13517 5 20 75 0 0 0 0 0 1050892 0 809636 0 0 0 0 1277 1879 1 2 97 0 0 0 0 0 1050632 0 809644 0 0 0 0 1344 1953 1 2 97 0 0 buffer并没有升高

    作者回复: 是的,读文件内容的时候不会的。文中指的是执行 find 命令查找文件的情景

    2019-02-01
    2
  • 安小依
    老师,今天遇见了一个问题: 系统使用 df -h 显示磁盘占用100%了,而且应用程序(这是一个不停下载 apk 文件、解压缩并分析 apk文件的应用程序)在命令行也提示磁盘空间不足了。但是,关闭应用程序后,再次 df-h 统计,却发现这次磁盘占用是 85%,释放了 15%大约150G 的空间…能大概推测出来为什么关闭应用后,磁盘空间突然多了的原因吗?

    作者回复: 解压缩很可疑,有没有看看这些apk解压后的大小?

    2019-03-01
    2
    1
收起评论
显示
设置
留言
27
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部