查看buffer/cache占用，建议使用pcstat或者hcache，hcache是基于pcstat的，pcstat可以查看某个文件是否被缓存和根据进程pid来查看都缓存了哪些文件。hcache在其基础上增加了查看整个操作系统Cache和根据使用Cache大小排序的特性。

[root@linjx ~]# hcache --top 3
+--------------------------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|--------------------------+----------------+------------+-----------+---------|
| /usr/bin/containerd | 44250880 | 10804 | 10804 | 100.000 |
| /usr/bin/dockerd-ce | 81622264 | 19928 | 8319 | 041.745 |
| /usr/bin/containerd-shim | 4972896 | 1215 | 1215 | 100.000 |
+--------------------------+----------------+------------+-----------+---------+

buffers/cached使用情况可以从proc文件系统看：
gjw@gjw:~$ cat /proc/meminfo
MemTotal: 7588504 kB
MemFree: 3621800 kB
MemAvailable: 6335912 kB
Buffers: 473920 kB
Cached: 2491192 kB

在回答今天的思考题前，我想需要明确两个前提，一个是Buffer到底在整个系统结构的哪一层，会不会是不是在IO调度器的下一层，我想应该会，理由是Buffer缓存磁盘内容调度器合并后再去写磁盘效率更好;另一个是之前有看到留言对于文件系统使用带Cache的IO操作底层为了性能Buffer和Cache是合并的，如果是这样那我就从逻辑上认为它们是分开的，这样好回答问题(声明我没看过底层代码都是没有代码依据的)。 我认为增长的地方都在Buffer里面，Cache里面的内容可以经过IO调度器整理后放Buffer，没有理由说磁盘阻塞，Cache就不能移动到Buffer 查看数据的地方在/proc/meminfo。

上面的都想法今天没有时间验证，要明天了!

老师，你好。测试中遇到的情况跟你说的不太一样。
iostat -d -x 1得到的结果
%util达到99%，IOPS 90，吞吐量 700KB/S，响应时间 10ms，平均等待队列1.1；
top 看到iowait 30%，不到60%；
并发数增加，cpu、内存使用率都没有增加，磁盘使用率99%；
如何判断出磁盘是否已经达到了饱和？对于这个结果，我不能分析出磁盘是否达到了瓶颈。
是否可以指点下？可否利用磁盘最大的IOPS来判断是否磁盘达到了瓶颈？谢谢！

Ubuntu 16.04, 使用 strace 应该需要先临时修改系统一个配置：echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope。另外用 java 模拟写文件，strace 发现还是不行，一直卡在这个地方：

zk@zk-pc:~/Documents$ strace -p 6526
strace: Process 6526 attached
futex(0x7f934a93a9d0, FUTEX_WAIT, 6527, NULL

老师帮忙看一下，Java 源代码如下。注释掉的部分 System.out 是疯狂打日志 （标准输出），线上环境出现过，疯狂 println 结果磁盘打满的问题，想模拟一下，结果发现不行。然后换成了写文件，结果 strace 还是看不出来，卡在那个地方一直不动：

    public static void main(String...args) throws Exception {
        File file = new File("/tmp/aaa");
        PrintWriter printWriter = new PrintWriter(file);

        while (true) {
            printWriter.write(UUID.randomUUID().toString());
            // System.out.println("------------------------------NULL-------------------");
            LockSupport.parkNanos(1);
        }
    }

另外问一下老师，一直向标准输出打印的话，最终的那个文件是放在哪里呢了？怎么就把磁盘打满了呢？

老师，我用linux的一个1核的 内存1G的服务器，没有出现io瓶颈的问题，通过top命令到是发现了cpu使用率飚到93%，64.5 us, 29.2 sy。这是是trace跟踪的情况：怎么反应不了是io的问题尼？
mmap(NULL, 393220096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = -1 ENOMEM (Cannot allocate memory)
munmap(0x7f2cc8098000, 314576896) = 0
write(2, "--- Logging error ---\n", 22) = 22
stat("/usr/local/lib/python3.7/logging/handlers.py", {st_mode=S_IFREG|0644, st_size=57674, ...}) = 0
write(2, "Traceback (most recent call last"..., 35) = 35
write(2, " File \"/usr/local/lib/python3.7"..., 108) = 108
write(2, " File \"/usr/local/lib/python3.7"..., 122) = 122
write(2, "MemoryError\n", 12) = 12
write(2, "Call stack:\n", 12) = 12
stat("/app.py", {st_mode=S_IFREG|0664, st_size=1289, ...}) = 0
write(2, " File \"/app.py\", line 52, in <m"..., 63) = 63
write(2, " File \"/app.py\", line 43, in wr"..., 65) = 65
mmap(NULL, 314576896, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f2cc8098000
mmap(NULL, 393220096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = -1 ENOMEM (Cannot allocate memory)
munmap(0x7f2cc8098000, 314576896) = 0
write(2, "Unable to print the message and "..., 119) = 119
select(0, NULL, NULL, NULL, {0, 100000}) = 0 (Timeout)
getpid() = 1
mmap(NULL, 314576896, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f2cc8098000
mmap(NULL, 393220096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = -1 ENOMEM (Cannot allocate memory)
munmap(0x7f2cc8098000, 314576896) = 0
write(2, "--- Logging error ---\n", 22) = 22
stat("/usr/local/lib/python3.7/logging/handlers.py", {st_mode=S_IFREG|0644, st_size=57674, ...}) = 0
write(2, "Traceback (most recent call last"..., 35) = 35
write(2, " File \"/usr/local/lib/python3.7"..., 108) = 108
write(2, " File \"/usr/local/lib/python3.7"..., 122) = 122
write(2, "MemoryError\n", 12) = 12
write(2, "Call stack:\n", 12) = 12

老师，我今天才看完这篇文章。想要提几个问题，不知道该专栏过了这么长时间了，还会不会被老师看到。不过还是提着把，万一看到并且回复了呢？

有一点困惑难以理解？在运行app.py命令之后，使用top查看时，发现cpu的wait使用率在80，90徘徊。

但是top下面的python进程的cpu使用率只有6%。

在我的理解中，现在总的cpu使用率是1 - idle。也就是90%左右。其中大量都是wait，sys之占用了6%左右。

但是，top下面所有进程的使用率总和不是应该是1-idle，90%左右吗？难道所有的进程的cpu使用率的总和和上面的不是相等的吗？

如果不是相等的，我还想到了一种可能是: 进程显示的是所有cpu的使用率，某一个进程的使用率应该会超过100%(如果有多个逻辑核心)。还是不应该出现总和小于上面的总cpu使用率的情况吧？？

希望老师答疑解惑。