当前播放: 13 | 用GoAccess实现可视化并实时监控access日志
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:初识Nginx (19讲)
01 | 课程综述
免费
02 | Nginx适用于哪些场景?
免费
03 | Nginx出现的历史背景
免费
04 | 为什么用Nginx:它的 5 个主要优点
免费
05 | Nginx的四个主要组成部分
免费
06 | Nginx的版本发布历史
07 | 选择哪一个Nginx发行版本?
08 | 编译出适合自己的Nginx
09 | Nginx配置文件的通用语法介绍
10 | Nginx命令行及演示:重载、热部署、日志切割
11 | 用Nginx搭建一个可用的静态资源Web服务器
12 | 用Nginx搭建一个具备缓存功能的反向代理服务
13 | 用GoAccess实现可视化并实时监控access日志
14 | 从网络原理来看SSL安全协议
15 | 对称加密与非对称加密各自的应用场景
16 | SSL证书的公信力是如何保证的?
17 | SSL协议握手时Nginx的性能瓶颈在哪里?
18 | 用免费SSL证书实现一个HTTPS站点
19 | 基于OpenResty用Lua语言实现简单服务
第二章:Nginx架构基础 (22讲)
20 | Nginx的请求处理流程
21 | Nginx的进程结构
22 | Nginx的进程结构实例演示
23 | 使用信号管理Nginx的父子进程
24 | reload重载配置文件的真相
25 | 热升级的完整流程
26 | 优雅地关闭worker进程
27 | 网络收发与Nginx事件间的对应关系
28 | Nginx网络事件实例演示
29 | Nginx的事件驱动模型
30 | epoll的优劣及原理
31 | Nginx的请求切换
32 | 同步&异步、阻塞&非阻塞之间的区别
33 | Nginx的模块究竟是什么?
34 | Nginx模块的分类
35 | Nginx如何通过连接池处理网络请求
36 | 内存池对性能的影响
37 | 所有worker进程协同工作的关键:共享内存
38 | 用好共享内存的工具:Slab管理器
39 | 哈希表的max_size与bucket_size如何配置
40 | Nginx中最常用的容器:红黑树
41 | 使用动态模块来提升运维效率
第三章:详解HTTP模块 (40讲)
42 | 第三章内容介绍
免费
43 | 冲突的配置指令以谁为准?
44 | Listen指令的用法
45 | 处理HTTP请求头部的流程
免费
46 | Nginx中的正则表达式
47 | 如何找到处理请求的server指令块
48 | 详解HTTP请求的11个阶段
49 | 11个阶段的顺序处理
50 | postread阶段:获取真实客户端地址的realip模块
51 | rewrite阶段的rewrite模块:return指令
52 | rewrite阶段的rewrite模块:重写URL
53 | rewrite阶段的rewrite模块:条件判断
54 | find_config阶段:找到处理请求的location指令块
55 | preaccess阶段:对连接做限制的limit_conn模块
56 | preaccess阶段:对请求做限制的limit_req模块
57 | access阶段:对ip做限制的access模块
58 | access阶段:对用户名密码做限制的auth_basic模块
59 | access阶段:使用第三方做权限控制的auth_request模块
60 | access阶段的satisfy指令
61 | precontent阶段:按序访问资源的try_files模块
62 | 实时拷贝流量:precontent阶段的mirror模块
63 | content阶段:详解root和alias指令
64 | static模块提供的3个变量
65 | static模块对url不以斜杠结尾却访问目录的做法
66 | index和autoindex模块的用法
67 | 提升多个小文件性能的concat模块
68 | access日志的详细用法
69 | HTTP过滤模块的调用流程
70 | 用过滤模块更改响应中的字符串:sub模块
71 | 用过滤模块在http响应的前后添加内容:addition模块
72 | Nginx变量的运行原理
73 | HTTP框架提供的请求相关的变量
74 | HTTP框架提供的其他变量
75 | 使用变量防盗链的referer模块
76 | 使用变量实现防盗链功能实践:secure_link模块
77 | 为复杂的业务生成新的变量:map模块
78 | 通过变量指定少量用户实现AB测试:split_client模块
79 | 根据IP地址范围的匹配生成新变量:geo模块
80 | 使用变量获得用户的地理位置:geoip模块
81 | 对客户端使用keepalive提升连接效率
第四章:反向代理与负载均衡 (38讲)
82 | 反向代理与负载均衡原理
83 | 负载均衡策略:round-robin
84 | 负载均衡哈希算法:ip_hash与hash模块
85 | 一致性哈希算法:hash模块
86 | 最少连接算法以及如何跨worker进程生效
87 | upstream模块提供的变量
88 | proxy模块处理请求的流程
89 | proxy模块中的proxy_pass指令
90 | 根据指令修改发往上游的请求
91 | 接收用户请求包体的方式
92 | 与上游服务建立连接
93 | 接收上游的响应
94 | 处理上游的响应头部
95 | 上游出现失败时的容错方案
96 | 对上游使用SSL连接
97 | 用好浏览器的缓存
98 | Nginx决策浏览器过期缓存是否有效
99 | 缓存的基本用法
100 | 对客户端请求的缓存处理流程
101 | 接收上游响应的缓存处理流程
102 | 如何减轻缓存失效时上游服务的压力
103 | 及时清除缓存
104 | uwsgi、fastcgi、scgi指令的对照表
105 | memcached反向代理的用法
106 | 搭建websocket反向代理
107 | 用分片提升缓存效率
108 | open file cache提升系统性能
109 | HTTP/2协议介绍
110 | 搭建HTTP/2服务并推送资源
111 | gRPC反向代理
112 | stream四层反向代理的7个阶段及常用变量
113 | proxy protocol协议与realip模块
114 | 限并发连接、限IP、记日志
115 | stream四层反向代理处理SSL下游流量
116 | stream_preread模块取出SSL关键信息
117 | stream proxy四层反向代理的用法
118 | UDP反向代理
119 | 透传IP地址的3个方案
第五章:Nginx的系统层性能优化 (18讲)
120 | 性能优化方法论
121 | 如何高效使用CPU
122 | 多核间的负载均衡
123 | 控制TCP三次握手参数
免费
124 | 建立TCP连接的优化
免费
125 | 滑动窗口与缓冲区
126 | 优化缓冲区与传输效率
127 | 慢启动与拥塞窗口
128 | TCP协议的keepalive功能
129 | 减少关闭连接时的time_wait端口数量
130 | lingering_close延迟关闭TCP连接
131 | 应用层协议的优化
132 | 磁盘IO的优化
免费
133 | 减少磁盘读写次数
134 | 零拷贝与gzip_static模块
135 | 用tcmalloc优化内存分配
136 | 使用Google PerfTools分析Nginx
137 | 使用stub_status模块监控Nginx的状态
第六章:从源码视角深入使用Nginx与OpenResty (18讲)
138 | 第三方模块源码的阅读
139 | Nginx的启动流程
140 | HTTP第三方模块的初始化
141 | if指令是邪恶的吗?
142 | 解读Nginx的核心转储文件
143 | 通过debug日志定位问题
144 | OpenResty概述
145 | OpenResty中的Nginx模块与Lua模块
146 | 如何在Nginx中嵌入Lua代码
147 | OpenResty中Lua与C代码交互的原理
148 | 获取、修改请求与响应的SDK
149 | 工具类型的SDK
150 | 同步且非阻塞的底层SDK:cosocket
151 | 基于协程的并发编程SDK
152 | 定时器及时间相关的SDK
153 | share.DICT基于共享内存的字典
154 | 子请求的使用方法
155 | 基于OpenResty的WAF防火墙&结课测试
13 | 用GoAccess实现可视化并实时监控access日志

13 | 用GoAccess实现可视化并实时监控access日志

陶辉
《深入理解Nginx》作者,智链达CTO
全集21999
新人首单 ¥49.9 原价 ¥199
47
登录 后留言

精选留言(58)

  • 有铭
    给作者个补充,默认goaccess在开启实时real-time-html后会监听端口7890的websocket,如果服务器不允许请求7890端口,你就看不到那个页面是实时更新的——你会发现访问的页面最后更新时间始终不变。这一点人很多忽略了,很多人以为是哪个生成html静态文件是实时更新的,其实根本不是,那个文件本身一旦生成就不动了,真正更新的实时内容是从websocket过来的

    作者回复: 谢谢分享!

    2018-11-22
    18
  • 一笑
    找到问题了,是因为我再公有云;7890端口加入安全组就可以了

    作者回复: :-)

    2018-11-20
    3
  • zane
    每天上百G用这个还行吗

    作者回复: 100G吗?可以的,但对CPU是有消耗的。官方有个benchmark,采用i7 2GHz的CPU分析时,每 12GB日志如果在磁盘上需要一个小时的处理时间,如果是在内存中是20分钟。它默认在内存中用hash表处理,每秒处理五万行。所以这种大流量分析,还是需要考虑你有没有富裕的CPU资源

    2018-11-06
    2
  • 黄冠清华
    老师你好,系统是macOS10.15,使用brew intall goaccess安装的,可是使用不了,报错返回
    已解析 1 行出现以下错误:
    Token '15/Oct/2019' doesn't match specifier '%d'
    格式错误 - 请检查你的日志/日期/时间格式

    nginx其中一条日志:127.0.0.1 - - [15/Oct/2019:23:21:03 +0800] "GET /algorithms.html HTTP/1.1" 200 11998 "http://127.0.0.1/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36" "-"
    可以的话帮忙看看 十分感谢

    作者回复: 你的goaccess解析配置语句是什么?

    2019-10-16
    5
    1
  • 羁绊12221
    老师好,有个小疑问,每次访问数据是正常更新的,但是页面右上角 Last Updated: 2019-07-11 13:31:37 +0800 这个时间始终不更新。。这个时间指的是?
    2019-07-11
    1
    1
  • 一笑
    使用goaccess监听access.log,可正常生成report.html;但是没有创建守护进程,使用--daemonize也无效;没有报错,找不到问题

    作者回复: 功能正常么?这个进程用于推送ws消息,页面建立了ws连接了吗?

    2018-11-19
    2
    1
  • PM2
    感觉goaccess展示效果比elk丰富

    作者回复: 简单有效,实时更新比较有趣,不过定制化就很差。

    2018-11-16
    1
  • Dante.Fung
    打卡

    作者回复: (+﹏+)

    2018-11-06
    1
  • Q3Feng
    goaccess,第一次使用有点惊喜,不过对于大型的web应用部署来说,个人认为不太适用

    作者回复: 是的,只适合简易的小站点

    2020-03-29
  • 大龙
    简单易用的工具

    作者回复: 是的

    2020-03-21
  • MENG
    如果日志切割了,那是不是就不能分析之前的日志了?

    作者回复: 可以在命令行的文件参数上,同时跟多个文件

    2020-03-19
  • 痞子胥
    tcp 0 0 0.0.0.0:7890 0.0.0.0:* LISTEN 12785/goaccess

    7890端口已经开启了 为啥日志分析 刷新时候 右上角时间还是不变的?求解啊。。

    作者回复: 打开chrome的Network面板,看一下websocket连接的消息是否正常传送。具体方法可以参考《Web协议详解与抓包实战》第9课

    2020-03-06
  • 老叔叔安森
    我的解析语句是这样的:goaccess host.access.log -o ../html/report.html --real-time-html --time-format='%H:%M:S' --date-format='%b~%d~%Y' --log-format=COMBINED

    作者回复: 看了你的两条留言,你的日志中,日期格式明明是以/来分隔的,为什么在--date-format中要以~波浪号来分隔呢?这不就不匹配了吗?

    2020-01-06
  • 老叔叔安森
    老师,按照视频,执行到goaccess这一步出现报错 Token '06/Jan/2020' doesn't match specifier '%d',日志是这样的:
    127.0.0.1 - - [06/Jan/2020:14:25:57 +0800] "GET /docs/dlib-logo.png HTTP/1.0" 200 5701 "http://127.0.0.1/docs/index.html" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" "-"

    为什么呢

    作者回复: 应该跟上条留言一起的吧?我在上一条留言回复了

    2020-01-06
  • 💣
    老师,我的nginx是运行在docker容器里面的,这样的话如何进行实时的监控哈

    作者回复: docker一样可以暴露端口出来的,你把goaccess使用到的7890端口映射出来即可

    2020-01-03
  • 胡家鹏
    老师您好,问三个问题:1.我按照您讲的使用goaccess开启日志监控后,第一次是出现websocket连接信息的,Ctrl+c退出后,再执行goaccess如第一次的命令,就无法启动了,什么也没输出,刷新report.html数据是有刷新的。2.如果我想同时监控多个日志文件,是不是执行多次goaccess命令,指定不同日志文件和输出页面就可以呢?由于第二次无法启动goaccess所以无法测试。3.我使用&符号,并没有后台启动,ps命令查过,感觉又像是启动成功后立马停止了。我的系统是centos7

    作者回复: 1、如果有刷新,说明goaccess进程还在,可以用ps -ef | grep goaccess看一下。当进程还在,你新启动肯定会失败,至少监听端口就是冲突的。
    2、不应该执行多次,而是用-f指定多个文件。
    3、不建议要用&符号,--daemonize可以后台启动

    2019-12-08
  • 巨文杰
    老师我出现了这个问题,是为什么呢?
    goaccess host.access.log -o ../html/report.html --real-time-html --time-format='%H:%M:%S'--date-format='%d/%b/%Y' --log-format=COMBINED
    juwenjie.test.log
    Parsed 10 lines producing the following errors:
    Token for '%s' specifier is NULL.
    Token for '%s' specifier is NULL.
    Token for '%s' specifier is NULL.

    作者回复: 应该是你的access日志格式与COMBINED不匹配所致。你帖一条access日志看看

    2019-11-19
    1
  • 请教个问题,最近遇到个nginx+网闸的项目:外网->nginx->网闸->应用系统。要求nginx80收到的请求,转发给应用系统80端口时,nginx转发的本地端口要固定也是80,不能是nginx本地随机开的一个100xx端口,连到到应用系统的80。老师,nginx里有这种配置吗?或者说怎么做到上面的转发要求?这样做的要求,好像是网闸,必须是80端口出,80端口入。

    作者回复: proxy_bind指令可实现指定本地IP地址及端口的功能。
    你得清楚,一个TCP连接是由四元组决定的,当它们都被固定时,意味着nginx与上游只能并发一条TCP连接,多路复用就失效了,你确定要这么做??建议仔细看看《Web协议详解与抓包实战》第107课。

    2019-09-10
    1
  • 不能如期而至
    老师,如果想让goaccess在后台启动,可以一直实时查看report.html, 应该怎么操作? 因为ctrl+c,关闭后,就不能实时更新了。

    作者回复: 命令行最后加&

    2019-08-29
  • 不能如期而至
    老师,在上节配置的反向代理基础上,配置启动后,report.html访问不到,是什么原因?
    upstream local {
            server 127.0.0.1:9091;
        }
        server {
            listen 80;
            server_name localhost;

            #charset koi8-r;

            #access_log logs/host.access.log main;
            location /report.html {
                    alias /usr/local/openresty/nginx/html/report.html;
            }

            location / {
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_cache my_cache;
                proxy_cache_key $host$uri$is_args$args;
                proxy_cache_valid 200 201 304 302 20s;
                proxy_pass http://local;
               # index index.html index.htm;
            }

    作者回复: 1、先检查/usr/local/openresty/nginx/html/report.html文件是否存在;
    2、如果存在,那么访问/report.html返回码是什么?

    2019-08-27
    1
收起评论
看过的人还看
数据结构与算法之美

王争  前Google工程师

80讲 | 85147 人已学习

新人首单 ¥29.9 原价 ¥129
趣谈网络协议

刘超  网易研究院云计算技术部首席架构师

51讲 | 44630 人已学习

新人首单 ¥19.9 原价 ¥99
从0开始学架构

李运华  前阿里资深技术专家

60讲 | 43114 人已学习

新人首单 ¥19.9 原价 ¥99
左耳听风

陈皓  网名“左耳朵耗子”,资深技术专家,骨灰级程序员

109讲 | 45072 人已学习

新人首单 ¥69.9 原价 ¥299