50 | postread阶段:获取真实客户端地址的realip模块
51 | rewrite阶段的rewrite模块:return指令
52 | rewrite阶段的rewrite模块:重写URL
53 | rewrite阶段的rewrite模块:条件判断
54 | find_config阶段:找到处理请求的location指令块
55 | preaccess阶段:对连接做限制的limit_conn模块
56 | preaccess阶段:对请求做限制的limit_req模块
57 | access阶段:对ip做限制的access模块
58 | access阶段:对用户名密码做限制的auth_basic模块
59 | access阶段:使用第三方做权限控制的auth_request模块
61 | precontent阶段:按序访问资源的try_files模块
62 | 实时拷贝流量:precontent阶段的mirror模块
63 | content阶段:详解root和alias指令
65 | static模块对url不以斜杠结尾却访问目录的做法
66 | index和autoindex模块的用法
70 | 用过滤模块更改响应中的字符串:sub模块
71 | 用过滤模块在http响应的前后添加内容:addition模块
76 | 使用变量实现防盗链功能实践:secure_link模块
78 | 通过变量指定少量用户实现AB测试:split_client模块
79 | 根据IP地址范围的匹配生成新变量:geo模块
80 | 使用变量获得用户的地理位置:geoip模块
81 | 对客户端使用keepalive提升连接效率
精选留言(63)
作者回复: 感谢支持!
作者回复: 侧重点不同,这门课程不讲模块开发,很少给大家演示nginx源码,只讲如何使用,《深入理解Nginx》一书中会有好几章在讲模块开发,而为了讲好模块开发,实际讲了大量的源码设计思路及实现。
作者回复: 是的,学好nginx后,我们可以用迁移学习的方法,把nginx中的设计思想,应用在其他服务里!
作者回复: 1、HTTP协议;2、TCP协议;3、Linux系统操作方法;4、Linux内核(即操作系统)设计原理(仅第五部分需要)。
不需要了解太深入,有个概念即可。尽量在课程中跟着我的演示一起实践。
作者回复: 谢谢,希望对你有所帮助
操作:jmeter发压,测试文件上传,1s内60并发,500M文件
现象:客户端显示Non HTTP response message: Connection timed out,没有HTTP状态码,但是Nginx access日志记录了400,请求没到达后端。
Openresty版本:openresty/1.13.6.2
业务作用:转发文件上传的请求,反向代理到后端jetty服务器。
服务器配置:万兆网卡,48核CPU,内存128G
详细说明:
我开启了client_body_in_file_only指令,将客户端的请求体存放到临时目录下,用于debug,临时目录下的文件临时数量与请求的个数相等,也是60个,说明请求到达了Nginx,但是有的文件比较小,不到500M,说明数据不全,但是如果Nginx处理出错,不应该给客户端什么都不返回,直接断开连接啊,多少返回个400呀,但是客户端没有收到,针对这种现象,网上有一篇文章,说"客户端Post请求Packet在网络传输过程中部分丢失导致到服务端无法正常响应,客户端30s超时断开连接,这时候nginx记录了400。这种情况下,nginx实际未反馈400的response,只是在连接断开时记录了400的日志"。https://blog.csdn.net/zhuyiquan/article/details/78707577#3-%E7%89%B9%E6%AE%8A%E9%97%AE%E9%A2%98%E5%9C%BA%E6%99%AF%E4%BA%8C%E7%BD%91%E7%BB%9C%E4%BC%A0%E8%BE%93%E4%B8%A2%E5%8C%85%E5%AF%BC%E8%87%B4%E7%9A%84400%E5%BC%82%E5%B8%B8
但是呢,我越过Nginx,直接压测后端的jetty容器,并没有出现上述的情况,所以我认为是Nginx的问题,但是调过很多参数,都不能解决这个问题。
Nginx相关配置:
client_max_body_size 200g;
client_body_buffer_size 100m;
client_body_timeout 1h;
proxy_http_version 1.1;
proxy_connect_timeout 300s;
proxy_read_timeout 3h;
proxy_send_timeout 300s;
proxy_buffer_size 100m;
proxy_buffers 6 100m;
proxy_busy_buffers_size 100m;
proxy_temp_file_write_size 100m;
proxy_request_buffering on;
sendfile on;
tcp_nodelay on;
tcp_nopush on;
open_file_cache max=100000 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 2;
open_file_cache_errors on;
作者回复: client_header_timeout设大点试试?还有你的400是什么触发的?error.log上找找原因看
作者回复: 谢谢
作者回复: 1、前端需要的资源,如CSS文件等是不变的,由nginx直接提供,有路径短以及性能高两个优点,可以提升页面加载速度。如API或者某些后端渲染的HTML等动态生成的response,则由nginx做反向代理从动态服务器里获得。
2、前端需要注意,后端(含运维)为了提升可用性,可能会在同一个页面下对不同的资源使用不同的域名。
和error_log 输出 是由master进程输出的吗 指定了nginx worker进程的启动用户如:appadmin
作者回复: worker进程输出的
作者回复: nginx.org,https://www.nginx.com/blog/,《TCP/IP 协议详解 卷1》,《深入理解Nginx:模块开发与架构解析》(我在改第3版,大概年底前会出版)
作者回复: 作为反向代理?这个400错误码是nginx构造的,还是上游构造的?错误日志呢?
作者回复: 课程第5部分会系统的讲解性能优化思路,你可以参考下.
作者回复: 报错的http code是504吗?如果是504,你可以通过proxy_read_timeout和proxy_send_timeout把超时时间设长一些,默认是60秒。
作者回复: 一定要坚持下来^_^,从实用角度来说,第3、4两部分是重点。
我本身是想通过学习您的课,最后能够解决这个问题。
现在很苦恼,这个问题已经困扰我快一个月了,希望老师能帮我解惑,极客时间发不了私信,我的微信是lsq576506402,我是真心的,麻烦老师了
作者回复: 400是access日志记录的,但errorlog没有任何记录。
按照你的描述,这个400日志是由上游server生成并返回的,这个可以验证吗?
如果可以验证的话,就是Nginx没有来得及将上游的响应发给客户端,需要确认,此时断连接了吗?哪边断的?异常断连接都会有error.log的。
我的邮箱是russelltao@foxmail.com,你可以把error.log发我。建议你把error.log日志级别调低。另外,第五部分最后几课,有教你怎么在内存中记录日志,防止性能压测时因为记录日志导致问题无法复现,请先学习相应课程。
add_header Access-Control-Allow-Credentials true;
add_header Access-Control-Allow-Headers "x-requested-with,Authorization";
add_header Access-Control-Allow-Methods *;
作者回复: 跨域不行是因为浏览器,你需要分析下浏览器的错误。nginx的add_header指令只是在http响应头部中增加header而已。
nginx的跨域解决方案也可以通过反向代理来解决。
111.111.111.111 - - [30/Nov/2018:11:34:00 +0800] "POST /api/*/check HTTP/1.1" 403 139 "https://servicewechat.com/wxcf*******77/7/page-frame.html" "Mozilla/5.0 (Linux; Android 8.1.0; Nokia X6 Build/OPR1.170623.026; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.126 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x2607033A) NetType/WIFI Language/zh_CN Process/appbrand0"
nginx403错误,,不定时出现,网上查了资料也没找到解决方案,麻烦老师抽空解答一下,非常感谢!
作者回复: 你需要看下error.log,如果不是反向代理而是nginx产生的,都会有日志的。
比如 http://127.0.0.1:8080/add?a=1&b=2&token=12
location /add {
echo $arg_a;
echo $arg_b;
echo $arg_token;
proxy_cache_key "$arg_a:$arg_b";
}
输出:
1
2
12
但是, 像这种 http://127.0.0.1:8080/add?Model.a=1&Model.b=2&token=12
location /add {
echo $arg_Model.a;
echo $arg_Model.b;
echo $arg_token;
proxy_cache_key "$arg_Model.a:$arg_Model.b";
}
输出:
a
b
就是不是想要的, 这个如何解决?
作者回复: nginx不支持变量名中带.这样的语法,同时对http header的名字也不支持带.。
解决方案有两个:1、替换命名规则,把.改为-或者其他可识别符号。2、用openresty,对$args命令用lua语言,自己写代码解析出Model.a变量的值,再设为新的变量给后续的http模块使用(注意http的11个阶段)。
$args_argname中 如果 argname 中有 . 在设置proxy_cache_key 的时候 "$arg_argname"这样就不行了。
比如
请求 http://127.0.0.1:8080/add?a=1&b=2
location /add {
......
proxy_cache_key "$arg_a:$arg_b";
}
上面的结果会以 1:2 作为key
如果请求变成了
http://127.0.0.1:8080/add?Model.a=1&Model.b=2
location /add {
......
proxy_cache_key "$arg_Model.a:$arg_Model.b";
}
这样proxy_cache_key 没有达到预期的效果.
请问, 在设置 proxy_cache_key 的时候, $arg_argname 中如果有 . 这个该如何表示?
作者回复: 不支持变量名带.点符号。你可以用lua解析出后,再设为新的变量供后续的模块使用。