下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 13 | 用GoAccess实现可视化并实时监控access日志
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Nginx核心知识100讲

共155讲 · 155课时,约1300分钟
18534
免费
01 | 课程综述
免费
02 | Nginx适用于哪些场景?
免费
03 | Nginx出现的历史背景
免费
04 | 为什么用Nginx:它的 5 ...
免费
05 | Nginx的四个主要组成部分
06 | Nginx的版本发布历史
07 | 选择哪一个Nginx发行版本...
08 | 编译出适合自己的Nginx
09 | Nginx配置文件的通用语法...
10 | Nginx命令行及演示:重载...
11 | 用Nginx搭建一个可用的静...
12 | 用Nginx搭建一个具备缓存...
13 | 用GoAccess实现可视化并实...
14 | 从网络原理来看SSL安全协...
15 | 对称加密与非对称加密各自...
16 | SSL证书的公信力是如何保...
17 | SSL协议握手时Nginx的性能...
18 | 用免费SSL证书实现一个HTT...
19 | 基于OpenResty用Lua语言...
20 | Nginx的请求处理流程
21 | Nginx的进程结构
22 | Nginx的进程结构实例演示
23 | 使用信号管理Nginx的父子...
24 | reload重载配置文件的真相
25 | 热升级的完整流程
26 | 优雅地关闭worker进程
27 | 网络收发与Nginx事件间的...
28 | Nginx网络事件实例演示
29 | Nginx的事件驱动模型
30 | epoll的优劣及原理
31 | Nginx的请求切换
32 | 同步&异步、阻塞&非阻塞...
33 | Nginx的模块究竟是什么?
34 | Nginx模块的分类
35 | Nginx如何通过连接池处理...
36 | 内存池对性能的影响
37 | 所有worker进程协同工作的...
38 | 用好共享内存的工具:Slab...
39 | 哈希表的max_size与bucke...
40 | Nginx中最常用的容器:红...
41 | 使用动态模块来提升运维效...
免费
42 | 第三章内容介绍
43 | 冲突的配置指令以谁为准?
44 | Listen指令的用法
免费
45 | 处理HTTP请求头部的流程
46 | Nginx中的正则表达式
47 | 如何找到处理请求的server...
48 | 详解HTTP请求的11个阶段
49 | 11个阶段的顺序处理
50 | postread阶段:获取真实客...
51 | rewrite阶段的rewrite模块...
52 | rewrite阶段的rewrite模块...
53 | rewrite阶段的rewrite模块...
54 | find_config阶段:找到处...
55 | preaccess阶段:对连接做...
56 | preaccess阶段:对请求做...
57 | access阶段:对ip做限制的...
58 | access阶段:对用户名密码...
59 | access阶段:使用第三方做...
60 | access阶段的satisfy指令
61 | precontent阶段:按序访问...
62 | 实时拷贝流量:precontent...
63 | content阶段:详解root和a...
64 | static模块提供的3个变量
65 | static模块对url不以斜杠...
66 | index和autoindex模块的用...
67 | 提升多个小文件性能的conc...
68 | access日志的详细用法
69 | HTTP过滤模块的调用流程
70 | 用过滤模块更改响应中的字...
71 | 用过滤模块在http响应的前...
72 | Nginx变量的运行原理
73 | HTTP框架提供的请求相关的...
74 | HTTP框架提供的其他变量
75 | 使用变量防盗链的referer...
76 | 使用变量实现防盗链功能实...
77 | 为复杂的业务生成新的变量...
78 | 通过变量指定少量用户实现...
79 | 根据IP地址范围的匹配生成...
80 | 使用变量获得用户的地理位...
81 | 对客户端使用keepalive提...
82 | 反向代理与负载均衡原理
83 | 负载均衡策略:round-rob...
84 | 负载均衡哈希算法:ip_has...
85 | 一致性哈希算法:hash模块
86 | 最少连接算法以及如何跨wo...
87 | upstream模块提供的变量
88 | proxy模块处理请求的流程
89 | proxy模块中的proxy_pas...
90 | 根据指令修改发往上游的请...
91 | 接收用户请求包体的方式
92 | 与上游服务建立连接
93 | 接收上游的响应
94 | 处理上游的响应头部
95 | 上游出现失败时的容错方案
96 | 对上游使用SSL连接
97 | 用好浏览器的缓存
98 | Nginx决策浏览器过期缓存...
99 | 缓存的基本用法
100 | 对客户端请求的缓存处理...
101 | 接收上游响应的缓存处理...
102 | 如何减轻缓存失效时上游...
103 | 及时清除缓存
104 | uwsgi、fastcgi、scgi指...
105 | memcached反向代理的用法
106 | 搭建websocket反向代理
107 | 用分片提升缓存效率
108 | open file cache提升系...
109 | HTTP/2协议介绍
110 | 搭建HTTP/2服务并推送资...
111 | gRPC反向代理
112 | stream四层反向代理的7个...
113 | proxy protocol协议与r...
114 | 限并发连接、限IP、记日...
115 | stream四层反向代理处理S...
116 | stream_preread模块取出S...
117 | stream proxy四层反向...
118 | UDP反向代理
119 | 透传IP地址的3个方案
120 | 性能优化方法论
121 | 如何高效使用CPU
122 | 多核间的负载均衡
免费
123 | 控制TCP三次握手参数
免费
124 | 建立TCP连接的优化
125 | 滑动窗口与缓冲区
126 | 优化缓冲区与传输效率
127 | 慢启动与拥塞窗口
128 | TCP协议的keepalive功能
129 | 减少关闭连接时的time_wa...
130 | lingering_close延迟关闭...
131 | 应用层协议的优化
免费
132 | 磁盘IO的优化
133 | 减少磁盘读写次数
134 | 零拷贝与gzip_static模...
135 | 用tcmalloc优化内存分配
136 | 使用Google PerfTools分...
137 | 使用stub_status模块监控...
138 | 第三方模块源码的阅读
139 | Nginx的启动流程
140 | HTTP第三方模块的初始化
141 | if指令是邪恶的吗?
142 | 解读Nginx的核心转储文件
143 | 通过debug日志定位问题
144 | OpenResty概述
145 | OpenResty中的Nginx模块...
146 | 如何在Nginx中嵌入Lua代...
147 | OpenResty中Lua与C代码...
148 | 获取、修改请求与响应的S...
149 | 工具类型的SDK
150 | 同步且非阻塞的底层SDK:...
151 | 基于协程的并发编程SDK
152 | 定时器及时间相关的SDK
153 | share.DICT基于共享内存...
154 | 子请求的使用方法
155 | 基于OpenResty的WAF防火...

精选留言(51)

  • 2018-11-22
    给作者个补充,默认goaccess在开启实时real-time-html后会监听端口7890的websocket,如果服务器不允许请求7890端口,你就看不到那个页面是实时更新的——你会发现访问的页面最后更新时间始终不变。这一点人很多忽略了,很多人以为是哪个生成html静态文件是实时更新的,其实根本不是,那个文件本身一旦生成就不动了,真正更新的实时内容是从websocket过来的

    作者回复: 谢谢分享!

    13
  • 2018-11-20
    找到问题了,是因为我再公有云;7890端口加入安全组就可以了

    作者回复: :-)

    2
  • 2018-11-06
    每天上百G用这个还行吗

    作者回复: 100G吗?可以的,但对CPU是有消耗的。官方有个benchmark,采用i7 2GHz的CPU分析时,每 12GB日志如果在磁盘上需要一个小时的处理时间,如果是在内存中是20分钟。它默认在内存中用hash表处理,每秒处理五万行。所以这种大流量分析,还是需要考虑你有没有富裕的CPU资源

    2
  • 2019-10-16
    老师你好,系统是macOS10.15,使用brew intall goaccess安装的,可是使用不了,报错返回
    已解析 1 行出现以下错误:
    Token '15/Oct/2019' doesn't match specifier '%d'
    格式错误 - 请检查你的日志/日期/时间格式

    nginx其中一条日志:127.0.0.1 - - [15/Oct/2019:23:21:03 +0800] "GET /algorithms.html HTTP/1.1" 200 11998 "http://127.0.0.1/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36" "-"
    可以的话帮忙看看 十分感谢
    展开

    作者回复: 你的goaccess解析配置语句是什么?

    1
    1
  • 2019-07-11
    老师好,有个小疑问,每次访问数据是正常更新的,但是页面右上角 Last Updated: 2019-07-11 13:31:37 +0800 这个时间始终不更新。。这个时间指的是?
    1
    1
  • 2018-11-19
    使用goaccess监听access.log,可正常生成report.html;但是没有创建守护进程,使用--daemonize也无效;没有报错,找不到问题

    作者回复: 功能正常么?这个进程用于推送ws消息,页面建立了ws连接了吗?

    2
    1
  • 2018-11-16
    感觉goaccess展示效果比elk丰富

    作者回复: 简单有效,实时更新比较有趣,不过定制化就很差。

    1
  • 2018-11-06
    打卡

    作者回复: (+﹏+)

    1
  • 2019-12-08
    老师您好,问三个问题:1.我按照您讲的使用goaccess开启日志监控后,第一次是出现websocket连接信息的,Ctrl+c退出后,再执行goaccess如第一次的命令,就无法启动了,什么也没输出,刷新report.html数据是有刷新的。2.如果我想同时监控多个日志文件,是不是执行多次goaccess命令,指定不同日志文件和输出页面就可以呢?由于第二次无法启动goaccess所以无法测试。3.我使用&符号,并没有后台启动,ps命令查过,感觉又像是启动成功后立马停止了。我的系统是centos7

    作者回复: 1、如果有刷新,说明goaccess进程还在,可以用ps -ef | grep goaccess看一下。当进程还在,你新启动肯定会失败,至少监听端口就是冲突的。
    2、不应该执行多次,而是用-f指定多个文件。
    3、不建议要用&符号,--daemonize可以后台启动

  • 2019-11-19
    老师我出现了这个问题,是为什么呢?
    goaccess host.access.log -o ../html/report.html --real-time-html --time-format='%H:%M:%S'--date-format='%d/%b/%Y' --log-format=COMBINED
    juwenjie.test.log
    Parsed 10 lines producing the following errors:
    Token for '%s' specifier is NULL.
    Token for '%s' specifier is NULL.
    Token for '%s' specifier is NULL.
    展开

    作者回复: 应该是你的access日志格式与COMBINED不匹配所致。你帖一条access日志看看

    1
  • 2019-09-10
    请教个问题,最近遇到个nginx+网闸的项目:外网->nginx->网闸->应用系统。要求nginx80收到的请求,转发给应用系统80端口时,nginx转发的本地端口要固定也是80,不能是nginx本地随机开的一个100xx端口,连到到应用系统的80。老师,nginx里有这种配置吗?或者说怎么做到上面的转发要求?这样做的要求,好像是网闸,必须是80端口出,80端口入。

    作者回复: proxy_bind指令可实现指定本地IP地址及端口的功能。
    你得清楚,一个TCP连接是由四元组决定的,当它们都被固定时,意味着nginx与上游只能并发一条TCP连接,多路复用就失效了,你确定要这么做??建议仔细看看《Web协议详解与抓包实战》第107课。

    1
  • 老师,如果想让goaccess在后台启动,可以一直实时查看report.html, 应该怎么操作? 因为ctrl+c,关闭后,就不能实时更新了。

    作者回复: 命令行最后加&

  • 老师,在上节配置的反向代理基础上,配置启动后,report.html访问不到,是什么原因?
    upstream local {
            server 127.0.0.1:9091;
        }
        server {
            listen 80;
            server_name localhost;

            #charset koi8-r;

            #access_log logs/host.access.log main;
            location /report.html {
                    alias /usr/local/openresty/nginx/html/report.html;
            }

            location / {
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_cache my_cache;
                proxy_cache_key $host$uri$is_args$args;
                proxy_cache_valid 200 201 304 302 20s;
                proxy_pass http://local;
               # index index.html index.htm;
            }
    展开

    作者回复: 1、先检查/usr/local/openresty/nginx/html/report.html文件是否存在;
    2、如果存在,那么访问/report.html返回码是什么?

    1
  • 2019-08-17
    老师,我的服务器7890端口是开启的,防火墙未启动,但是访问report.html页面,建立websocket连接的时候一直报Error in connection establishment: net::ERR_CONNECTION_REFUSED,所以日志不能实时更新,这可能是因为什么原因啊?用的是Chrome浏览器,谢解答!

    作者回复: 这得抓个包看下了,是TCP三次握手没建立成功吗?chrome中看不到这样的信息,可以用wireshark在windows端抓包,可以参看《Web协议详解与抓包实战》第37、39、40课。在Linux上也可以尝试用tcpdump在7890端口上抓包看看有没有SYN报文过来,参看第87课。

  • 2019-07-28
    按照这个方式配置,这个HTML页面不会暴露再外网吗?

    作者回复: 课程例子只是告诉如何配置好goaccess,如果只想让内网访问,请参照44课listen指令后的ip配置

  • 2019-07-26
    老师好,我按照教程上的方法搭建成功。但是后面站点开启了 https 后,发现 goaccess 日志无法实时刷新。改成 http后又正常了。请教一下是什么原因?通常都是怎么解决的?

    作者回复: 实时刷新是依赖于websocket连接可以正常工作,你可以用Network面板抓包看看,当开启了https后,是不是websocket连接失败?可以参见我的《Web协议详解与抓包实战》第9课、第44课。

  • 2019-06-18
    goaccess host.access.log -o ../html/report.html --real-time-html --time-format='%H:%M:%S' --date-format='%d/%b/%Y' --log-format=COMBINED 执行后, 有时会成功的开启websocket连接。但是绝大多数情况都是没开启,也没报错,奇怪

    作者回复: ws端口打开了吗?是不是被防火墙拦截了?

    1
  • 2019-06-14
    如果使用goaccess做日志分析,是不是日志不能做分割?

    作者回复: 可以做分割,goaccess会把新增日志的分析结果放在内存中

  • 2019-05-28
    请问老师这些log,是怎样模拟出来的呢?有什么软件可以自动访问搭建的网站吗?

    作者回复: 用浏览器访问即可,用curl、telnet、爬虫这样的工具也可以。

  • 2019-05-08
    Parsing... [0] [0/s]
    GoAccess - version 1.2 - Jul 23 2017 03:05:48
    Config file: /etc/goaccess.conf

    Fatal error has occurred
    Error occured at: src/websocket.c - ws_setfifo - 2288
    Unable to set fifo: File exists.

    老师这个报错了。怎么排查?
    展开

    作者回复: 这是goaccess的内部错误,建议google或者到goaccess的相关站点上找找答案,Nginx不存在问题。例如,试下:https://github.com/allinurl/goaccess/issues/1340