Nginx 核心知识 150 讲
陶辉
智链达 CTO,前阿里云 P8 高级技术专家
61678 人已学习
新⼈⾸单¥98
课程目录
已完结/共 155 讲
第三章:详解HTTP模块 (40讲)
第四章:反向代理与负载均衡 (38讲)
Nginx 核心知识 150 讲
登录|注册
留言
30
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 45 | 处理HTTP请求头部的流程
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程综述
02 | Nginx适用于哪些场景?
03 | Nginx出现的历史背景
04 | 为什么用Nginx:它的 5 个主要优点
05 | Nginx的四个主要组成部分
06 | Nginx的版本发布历史
07 | 选择哪一个Nginx发行版本?
08 | 编译出适合自己的Nginx
09 | Nginx配置文件的通用语法介绍
10 | Nginx命令行及演示:重载、热部署、日志切割
11 | 用Nginx搭建一个可用的静态资源Web服务器
12 | 用Nginx搭建一个具备缓存功能的反向代理服务
13 | 用GoAccess实现可视化并实时监控access日志
14 | 从网络原理来看SSL安全协议
15 | 对称加密与非对称加密各自的应用场景
16 | SSL证书的公信力是如何保证的?
17 | SSL协议握手时Nginx的性能瓶颈在哪里?
18 | 用免费SSL证书实现一个HTTPS站点
19 | 基于OpenResty用Lua语言实现简单服务
20 | Nginx的请求处理流程
21 | Nginx的进程结构
22 | Nginx的进程结构实例演示
23 | 使用信号管理Nginx的父子进程
24 | reload重载配置文件的真相
25 | 热升级的完整流程
26 | 优雅地关闭worker进程
27 | 网络收发与Nginx事件间的对应关系
28 | Nginx网络事件实例演示
29 | Nginx的事件驱动模型
30 | epoll的优劣及原理
31 | Nginx的请求切换
32 | 同步&异步、阻塞&非阻塞之间的区别
33 | Nginx的模块究竟是什么?
34 | Nginx模块的分类
35 | Nginx如何通过连接池处理网络请求
36 | 内存池对性能的影响
37 | 所有worker进程协同工作的关键:共享内存
38 | 用好共享内存的工具:Slab管理器
39 | 哈希表的max_size与bucket_size如何配置
40 | Nginx中最常用的容器:红黑树
41 | 使用动态模块来提升运维效率
42 | 第三章内容介绍
43 | 冲突的配置指令以谁为准?
44 | Listen指令的用法
45 | 处理HTTP请求头部的流程
46 | Nginx中的正则表达式
47 | 如何找到处理请求的server指令块
48 | 详解HTTP请求的11个阶段
49 | 11个阶段的顺序处理
50 | postread阶段:获取真实客户端地址的realip模块
51 | rewrite阶段的rewrite模块:return指令
52 | rewrite阶段的rewrite模块:重写URL
53 | rewrite阶段的rewrite模块:条件判断
54 | find_config阶段:找到处理请求的location指令块
55 | preaccess阶段:对连接做限制的limit_conn模块
56 | preaccess阶段:对请求做限制的limit_req模块
57 | access阶段:对ip做限制的access模块
58 | access阶段:对用户名密码做限制的auth_basic模块
59 | access阶段:使用第三方做权限控制的auth_request模块
60 | access阶段的satisfy指令
61 | precontent阶段:按序访问资源的try_files模块
62 | 实时拷贝流量:precontent阶段的mirror模块
63 | content阶段:详解root和alias指令
64 | static模块提供的3个变量
65 | static模块对url不以斜杠结尾却访问目录的做法
66 | index和autoindex模块的用法
67 | 提升多个小文件性能的concat模块
68 | access日志的详细用法
69 | HTTP过滤模块的调用流程
70 | 用过滤模块更改响应中的字符串:sub模块
71 | 用过滤模块在http响应的前后添加内容:addition模块
72 | Nginx变量的运行原理
73 | HTTP框架提供的请求相关的变量
74 | HTTP框架提供的其他变量
75 | 使用变量防盗链的referer模块
76 | 使用变量实现防盗链功能实践:secure_link模块
77 | 为复杂的业务生成新的变量:map模块
78 | 通过变量指定少量用户实现AB测试:split_client模块
79 | 根据IP地址范围的匹配生成新变量:geo模块
80 | 使用变量获得用户的地理位置:geoip模块
81 | 对客户端使用keepalive提升连接效率
82 | 反向代理与负载均衡原理
83 | 负载均衡策略:round-robin
84 | 负载均衡哈希算法:ip_hash与hash模块
85 | 一致性哈希算法:hash模块
86 | 最少连接算法以及如何跨worker进程生效
87 | upstream模块提供的变量
88 | proxy模块处理请求的流程
89 | proxy模块中的proxy_pass指令
90 | 根据指令修改发往上游的请求
91 | 接收用户请求包体的方式
92 | 与上游服务建立连接
93 | 接收上游的响应
94 | 处理上游的响应头部
95 | 上游出现失败时的容错方案
96 | 对上游使用SSL连接
97 | 用好浏览器的缓存
98 | Nginx决策浏览器过期缓存是否有效
99 | 缓存的基本用法
100 | 对客户端请求的缓存处理流程
101 | 接收上游响应的缓存处理流程
102 | 如何减轻缓存失效时上游服务的压力
103 | 及时清除缓存
104 | uwsgi、fastcgi、scgi指令的对照表
105 | memcached反向代理的用法
106 | 搭建websocket反向代理
107 | 用分片提升缓存效率
108 | open file cache提升系统性能
109 | HTTP/2协议介绍
110 | 搭建HTTP/2服务并推送资源
111 | gRPC反向代理
112 | stream四层反向代理的7个阶段及常用变量
113 | proxy protocol协议与realip模块
114 | 限并发连接、限IP、记日志
115 | stream四层反向代理处理SSL下游流量
116 | stream_preread模块取出SSL关键信息
117 | stream proxy四层反向代理的用法
118 | UDP反向代理
119 | 透传IP地址的3个方案
120 | 性能优化方法论
121 | 如何高效使用CPU
122 | 多核间的负载均衡
123 | 控制TCP三次握手参数
124 | 建立TCP连接的优化
125 | 滑动窗口与缓冲区
126 | 优化缓冲区与传输效率
127 | 慢启动与拥塞窗口
128 | TCP协议的keepalive功能
129 | 减少关闭连接时的time_wait端口数量
130 | lingering_close延迟关闭TCP连接
131 | 应用层协议的优化
132 | 磁盘IO的优化
133 | 减少磁盘读写次数
134 | 零拷贝与gzip_static模块
135 | 用tcmalloc优化内存分配
136 | 使用Google PerfTools分析Nginx
137 | 使用stub_status模块监控Nginx的状态
138 | 第三方模块源码的阅读
139 | Nginx的启动流程
140 | HTTP第三方模块的初始化
141 | if指令是邪恶的吗?
142 | 解读Nginx的核心转储文件
143 | 通过debug日志定位问题
144 | OpenResty概述
145 | OpenResty中的Nginx模块与Lua模块
146 | 如何在Nginx中嵌入Lua代码
147 | OpenResty中Lua与C代码交互的原理
148 | 获取、修改请求与响应的SDK
149 | 工具类型的SDK
150 | 同步且非阻塞的底层SDK:cosocket
151 | 基于协程的并发编程SDK
152 | 定时器及时间相关的SDK
153 | share.DICT基于共享内存的字典
154 | 子请求的使用方法
155 | 基于OpenResty的WAF防火墙&结课测试
本节摘要
登录 后留言

全部留言(30)

  • 最新
  • 精选
hcyycb
connection_pool_size 512 字节是 nginx 框架和客户端建立了连接时就产生的。 当客户端有数据请求发来时,这时候是在 request_pool_size 4k 的空间里,开始分配出具体的 client_header_buffer_size 1k 这样吗? 然后,如果客户端的请求头部太长、超过了 4k ,这时候 large_client_header_buffers 4 8k 就会起作用吗? 也就是说,当有 large_client_header_buffers 被分配的时候,其实 request_pool_size 已经不止起始分配的 4k 那么大了。是这样理解吗?

作者回复: 对的!

2019-01-31
4
6
soooldier
老师好,请教一下课件中的接收URI的部分为什么会涉及到请求行呢?我理解URI仅仅是一个字符串而已,请求行处理是右边接收header的逻辑

作者回复: 一个标准的HTTP请求是这样的:GET /uri HTTP/1.1\r\nHost: xxx\r\n,这里第一个\r\n就是请求行。

2018-12-10
5
小呆娃
老师,为啥视频中明明说client_header_buffer_size是从连接内存池中分配的,但是有其他同学在留言中问是在请求连接池(request_pool_size的空间)中分配的client_header您也说是对的,有点疑惑了。

作者回复: 当http header未经解析时,它是tcp有序字符流,此时需要有一块缓冲区存放它们,再用状态机来取出有意义的header,而这块缓冲区的大小就是client_header_buffer_size,它是从连接内存池中分配的。 当解析出header后,是从请求内存池中分配内存池存放的

2020-03-22
3
Geek_0b7655
1.在nix_event_accept回调函数中,当客户端和nginx框架建立了连接后(accept),创建了connection_pool_size 512字节的连接内存池; 2.当有客户端数据真正到来时,调用ngx_http_wait_request_handler回调函数,在该函数中才在刚创建的连接内存池中分配出client_header_buffer_size 1k大小的内存,开始接收数据(recv);然后创建请求内存池request_pool_size 4k大小。 3.在ngx_http_process_request_line处理接收到的请求行时,如果发现请求行太长,large_client_header_buffers 4 8k被分配,看源代码好像仍然是从连接内存池中申请的。

作者回复: 是的,你的理解都对^_^

2020-01-12
2
2
WL
有两个问题请教一下老师: 1. 对于状态机我好像还是不太理解, 状态机解析请求行和header是指不同的参数匹配不同的方法进行处理吗? 比如get请求和post请求, xml和json采用不同的状态机处理就是对应不同的解析方法 2. ngx是把操作系统内核中的数据copy了一份到用户态, 为什么要做这次copy呢,copy数据不是也消耗时间吗, 为什么不采用零拷贝技术与操作系统内核共用这部分内存呢, 这样也有利于提高处理效率吧?

作者回复: 1、状态机解析请求行是指:比如接收到GET /inde时,就知道接收完方法了,在解析path过程中;接收到GET /index.htm HTTP/1.1\r\nHos时,就知道接收完request line,正在解析Header头部,其中第1个header尚未解析出name。 对http body通常不用使用状态机。 2、任何技术都有两面性,与内核共用会导致进程不能随时修改内存中的内容,否则内核很可能要崩掉。建议你看一下内核态地址空间与用户态地址空间的区别。

2019-04-29
2
上善若水
老师您好,结合视频、PPT和他人留言,有些地方不太明白,想请教一下 1、结合36节介绍,我的理解是,不管连接内存池还是请求内存池,只是一个数据结构,可以看做一个分配实际内存存储空间的工具,不知我的理解对不对; 2、结合第 1 个问题,其他人提问您回复过“client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size)“,我的理解是,连接内存池分配的client_header_buffer_size 1K这块内存空间实际是属于 request_pool_size 4k 内存空间的一部分? 3、结合第 2 个问题,实际是连接内存池分配了用于存储请求信息的内存空间,不知这样理解对不对; 4、结合第 2 个问题,是不是在client_header_buffer_size 1K分配的时候request_pool_size 4k就已经分配了?因为您PPT中client_header_buffer_size 1K 和 request_pool_size 4k是在2页,分别是HTTP接收和接收URI,感觉是先有的client_header_buffer_size 1K 后有的request_pool_size 4k,但是看到其他人的回复中又像是嵌套包含的意思,所有有点晕,希望老师解惑; 5、结合第2和4问题,本节视频6分42秒左右,您提到,如果URL很大,超过1K,这时候会分配large_client_header_buffers 4 8k ,比如8K,这时候,会把client_header_buffer_size 1K复制过来,也就是还剩7K,这地方我理解,那我想问下, 如果第2个问题我理解的是对的,那 request_pool_size 4k用了1K 还剩的3K 是做什么用的?会不会复制到large_client_header_buffers 4 8k 中? 因为也是刚接触,想深入了解下,能力有限,把自己搞晕了,还望老师解惑,问题比较多,见谅,十分感谢!

作者回复: 不要把问题罗列到一起啊,5个问题分5次提问好了。 先回答第1个: 对,描述内存池的结构体所占用的内存,与内存池分配出的内存,隶属于2块内存池中。比如,描述HTTP请求内存池的结构体,其实是从连接内存池中分配出的。

2019-05-29
1
无菇朋友
老师您好,看了这节课视频有如下疑问: 1. 利用epoll,nginx是在有读写事件触发时,fork一个线程去遍历就绪的fd_sets么?所以nginx才可以用少量的进程处理大量的请求? 2. client_header_buffer_size为什么要从connection_pool中分配呢,是因为如果uri+header不超过1k的话,request_pool以及large_client_header_buffers就不用再分配了么? 3. 为什么connection_pool_size指令的默认值不设为1k呢 望得到老师答复,感谢!

作者回复: 1、不是,单线程一样可做到,只要定期的、且非常及时的去查看是否有触发的读写事件即可。 2、建立好连接后就会有connection_pool,此时究竟收到的消息是HTTP/1还是其他协议的消息并不确定,所以只能从这个内存池中分配。 对。 3、connection连接管理并不只为HTTP协议服务;另外,很可能连接建立起后客户端长期不发送消息,分配过大内存可能浪费。

2019-04-12
1
session
老师。问一个比较初级的问题,TCP三次握手建立连接后,客户端再次发送数据,到达服务器后是如何定位到之前建立的连接呢,是不是这个TCP也是监听了一个端口呢,

作者回复: 根据TCP四元组和sequence信息

2019-03-23
1
阿德
老师,如果请求的URI不超过1k,client_header_buffer_size够用的话,后面的8k的large_client_header_buffers是不是就不用分配了?而4k的请求内存池是一定会分配的,是吗?另外,large_client_header_buffers是不是从请求内存池分配的

作者回复: 1、对,不用分配。 2、一定分配。 3、是的。

2019-01-29
1
napolenAx
老师好,之前讲的connection_pool_size和request_pool_size还理解,又加入了client_header_buffer_size:1k,有点晕,client_header_buffer_size:1k和request_pool_size:4k 这两块内存的作用有什么不同呢?

作者回复: 1、client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size),如果连接被复用的话,虽然请求内存池会被释放,但连接内存池照旧使用。所以,我们需要先分清连接与请求,并清楚他们的内存池。 2、pool_size只是内存池的初始分配大小,当然实际使用中可以超出此大小。而client_header_buffer_size则具体指明某一用途下的内存大小,这里就是最开始接收HTTP请求的内存大小。

2019-01-10
1
收起评论