26 | 案例篇：如何找出狂打日志的“内鬼”？

大神，能问一个题外话吗，关于自己人生规划，水平和眼界所限，想不通， 都说大神级见识很广也多，能给我这个35岁只维护过四五十台linux服务器的运维指条路吗？ 现在很迷茫和压力大~~ 能力如下： 一.网络：CCNA水平，自过了CCNP忘记了，当过2年网管 二、维护过asp.net电商网站，3年，只有简单的，兼职网管 三、linux运维，只在一家电商做了3年多，会 1.web：nginx、tomcat配置（少用）+php:nignx的rewirte和反代 2.数据库：mysql、mongoDB、redis 配置及主从，不会mycat、Cetus之类 3.反代：会nginx、haproxy简单配置 4.存储：NFS、fastDFS、hadoop简单看了一下 5.版本控制：只会git及搭建gitlab+jenkins（简单的CI/CD） 6.监控：简单配置zabbix+shell脚本 7.虚拟化：kvm安装及配置、docker(k8s还没学) 8.云计算：openstack只会安装做过实验 9.测试：只会ab工具 10.日志：ELK安装配置，还没结合java（在学中） 11.大数据：没使用过（不会flume、storm、spark、flink、kafka） 12.脚本：主要是shell为主、会点python 四、编程能力：自学，没项目经验 1.前端： 1）HTML（HTML5不怎看） 2）css（laiui、学了一下vue） 3) js、jquery框架、ES6简单看了一下 2.PHP：语法简单的thinkphp5框架 3.java：考虑要维护java web在学 只看了java、jsp及servet、spring、springMVC、spring Boot（这个为主） 4.python：考虑运维用到 python：会简单的脚本 django：只会官网简单的 问题是：现在已35岁了，失业，怎办？年龄摆在那里，能力好像不强，学历大专。 能给个建议吗？非常感谢~~

pcstat(page cache stat)这个可以查看目标log文件在cache中的大小

指出老师的一个问题，“日志回滚文件”，打印日志的过程中从直觉来看很容易误认为日志是在“回滚”，我也犯过这样的错误；rotating英文直译为“旋转”或“轮流”，实际的日志打印过程中，日志名称是“旋转”的，例如log.1(当前打印的日志文件并且一直会打印这个文件)，log.2(较早日志)，log.3(更早日志)，当触发“旋转”条件时，日志名称会发生变更，假如log.3是上限数，那么log.3发生“旋转”就被remove，log.2被rename为log.3。更形象一点的描述是，日志名称发生了滚动，log.1=>log.2=>log.3不断的更新。

logger.info(message)的情况下，还可以使用logger.setLevel修改日志级别吗？

在回答今天的思考题前，我想需要明确两个前提，一个是Buffer到底在整个系统结构的哪一层，会不会是不是在IO调度器的下一层，我想应该会，理由是Buffer缓存磁盘内容调度器合并后再去写磁盘效率更好;另一个是之前有看到留言对于文件系统使用带Cache的IO操作底层为了性能Buffer和Cache是合并的，如果是这样那我就从逻辑上认为它们是分开的，这样好回答问题(声明我没看过底层代码都是没有代码依据的)。 我认为增长的地方都在Buffer里面，Cache里面的内容可以经过IO调度器整理后放Buffer，没有理由说磁盘阻塞，Cache就不能移动到Buffer 查看数据的地方在/proc/meminfo。 上面的都想法今天没有时间验证，要明天了!

老师，我运行docker run -v /tmp:/tmp --name=app -itd feisky/logapp 这个命令几秒后这个进程就不在了。怎么回事呢

老师，代码里怎么写能接受sigusr这个参数呢，现在每次改级别我都是改配置文件然后重启

我这边使用centos7 2c 8g 实验结果与文章中有些区别： 1. 在运行容器后，使用top命令发现sys与iowait各占单个CPU的10-50% 2. 针对iowait，使用dstat发现磁盘每秒写入约为300M; vmstat中bo也验证了写请求较大 3. 使用pidstat -d 分析发现是Python写入请求大，根据 iostat分析到当前磁盘使用率90%，写队列1000 4. 使用strace跟踪，发现写入fd为3，观察ls -l /proc/$pid/fd/，发现fd:3 --> /tmp/logtest.txt 5. 再通过 watch -n 1 ls -lh /tmp/logtest.txt 观察日志大小，发现日志在轮转 ---- 有个疑惑，针对 sys 较高，无论是上下文切换，还是中断，都非常少，只有一个io写入。难道io密集型应用也能大幅度拉高sys？我也没发现man手册中提到io等待时间包含在sys中啊 [root@centos-80 ~]# dstat 2 ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 6 13 68 12 0 0| 146k 312M| 0 0 | 0 0 | 854 333 13 26 27 34 0 1| 0 598M| 60B 626B| 0 0 |1506 312 10 22 42 25 0 0| 0 587M| 60B 354B| 0 0 |1385 270

“每秒写的数据超过 45 MB，比上面 iostat 发现的 32MB 的结果还要大” 老师好，没明白这里的比较要说明什么问题？

Ubuntu 16.04, 使用 strace 应该需要先临时修改系统一个配置：echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope。另外用 java 模拟写文件，strace 发现还是不行，一直卡在这个地方： zk@zk-pc:~/Documents$ strace -p 6526 strace: Process 6526 attached futex(0x7f934a93a9d0, FUTEX_WAIT, 6527, NULL 老师帮忙看一下，Java 源代码如下。注释掉的部分 System.out 是疯狂打日志 （标准输出），线上环境出现过，疯狂 println 结果磁盘打满的问题，想模拟一下，结果发现不行。然后换成了写文件，结果 strace 还是看不出来，卡在那个地方一直不动： public static void main(String...args) throws Exception { File file = new File("/tmp/aaa"); PrintWriter printWriter = new PrintWriter(file); while (true) { printWriter.write(UUID.randomUUID().toString()); // System.out.println("------------------------------NULL-------------------"); LockSupport.parkNanos(1); } } 另外问一下老师，一直向标准输出打印的话，最终的那个文件是放在哪里呢了？怎么就把磁盘打满了呢？