下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 45 | 处理HTTP请求头部的流程
00:00 / 00:00
标清
  • 高清
  • 标清
  • 普清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Nginx核心知识100讲

共155讲 · 155课时,约1300分钟
18513
免费
01 | 课程综述
免费
02 | Nginx适用于哪些场景?
免费
03 | Nginx出现的历史背景
免费
04 | 为什么用Nginx:它的 5 ...
免费
05 | Nginx的四个主要组成部分
06 | Nginx的版本发布历史
07 | 选择哪一个Nginx发行版本...
08 | 编译出适合自己的Nginx
09 | Nginx配置文件的通用语法...
10 | Nginx命令行及演示:重载...
11 | 用Nginx搭建一个可用的静...
12 | 用Nginx搭建一个具备缓存...
13 | 用GoAccess实现可视化并实...
14 | 从网络原理来看SSL安全协...
15 | 对称加密与非对称加密各自...
16 | SSL证书的公信力是如何保...
17 | SSL协议握手时Nginx的性能...
18 | 用免费SSL证书实现一个HTT...
19 | 基于OpenResty用Lua语言...
20 | Nginx的请求处理流程
21 | Nginx的进程结构
22 | Nginx的进程结构实例演示
23 | 使用信号管理Nginx的父子...
24 | reload重载配置文件的真相
25 | 热升级的完整流程
26 | 优雅地关闭worker进程
27 | 网络收发与Nginx事件间的...
28 | Nginx网络事件实例演示
29 | Nginx的事件驱动模型
30 | epoll的优劣及原理
31 | Nginx的请求切换
32 | 同步&异步、阻塞&非阻塞...
33 | Nginx的模块究竟是什么?
34 | Nginx模块的分类
35 | Nginx如何通过连接池处理...
36 | 内存池对性能的影响
37 | 所有worker进程协同工作的...
38 | 用好共享内存的工具:Slab...
39 | 哈希表的max_size与bucke...
40 | Nginx中最常用的容器:红...
41 | 使用动态模块来提升运维效...
免费
42 | 第三章内容介绍
43 | 冲突的配置指令以谁为准?
44 | Listen指令的用法
免费
45 | 处理HTTP请求头部的流程
46 | Nginx中的正则表达式
47 | 如何找到处理请求的server...
48 | 详解HTTP请求的11个阶段
49 | 11个阶段的顺序处理
50 | postread阶段:获取真实客...
51 | rewrite阶段的rewrite模块...
52 | rewrite阶段的rewrite模块...
53 | rewrite阶段的rewrite模块...
54 | find_config阶段:找到处...
55 | preaccess阶段:对连接做...
56 | preaccess阶段:对请求做...
57 | access阶段:对ip做限制的...
58 | access阶段:对用户名密码...
59 | access阶段:使用第三方做...
60 | access阶段的satisfy指令
61 | precontent阶段:按序访问...
62 | 实时拷贝流量:precontent...
63 | content阶段:详解root和a...
64 | static模块提供的3个变量
65 | static模块对url不以斜杠...
66 | index和autoindex模块的用...
67 | 提升多个小文件性能的conc...
68 | access日志的详细用法
69 | HTTP过滤模块的调用流程
70 | 用过滤模块更改响应中的字...
71 | 用过滤模块在http响应的前...
72 | Nginx变量的运行原理
73 | HTTP框架提供的请求相关的...
74 | HTTP框架提供的其他变量
75 | 使用变量防盗链的referer...
76 | 使用变量实现防盗链功能实...
77 | 为复杂的业务生成新的变量...
78 | 通过变量指定少量用户实现...
79 | 根据IP地址范围的匹配生成...
80 | 使用变量获得用户的地理位...
81 | 对客户端使用keepalive提...
82 | 反向代理与负载均衡原理
83 | 负载均衡策略:round-rob...
84 | 负载均衡哈希算法:ip_has...
85 | 一致性哈希算法:hash模块
86 | 最少连接算法以及如何跨wo...
87 | upstream模块提供的变量
88 | proxy模块处理请求的流程
89 | proxy模块中的proxy_pas...
90 | 根据指令修改发往上游的请...
91 | 接收用户请求包体的方式
92 | 与上游服务建立连接
93 | 接收上游的响应
94 | 处理上游的响应头部
95 | 上游出现失败时的容错方案
96 | 对上游使用SSL连接
97 | 用好浏览器的缓存
98 | Nginx决策浏览器过期缓存...
99 | 缓存的基本用法
100 | 对客户端请求的缓存处理...
101 | 接收上游响应的缓存处理...
102 | 如何减轻缓存失效时上游...
103 | 及时清除缓存
104 | uwsgi、fastcgi、scgi指...
105 | memcached反向代理的用法
106 | 搭建websocket反向代理
107 | 用分片提升缓存效率
108 | open file cache提升系...
109 | HTTP/2协议介绍
110 | 搭建HTTP/2服务并推送资...
111 | gRPC反向代理
112 | stream四层反向代理的7个...
113 | proxy protocol协议与r...
114 | 限并发连接、限IP、记日...
115 | stream四层反向代理处理S...
116 | stream_preread模块取出S...
117 | stream proxy四层反向...
118 | UDP反向代理
119 | 透传IP地址的3个方案
120 | 性能优化方法论
121 | 如何高效使用CPU
122 | 多核间的负载均衡
免费
123 | 控制TCP三次握手参数
免费
124 | 建立TCP连接的优化
125 | 滑动窗口与缓冲区
126 | 优化缓冲区与传输效率
127 | 慢启动与拥塞窗口
128 | TCP协议的keepalive功能
129 | 减少关闭连接时的time_wa...
130 | lingering_close延迟关闭...
131 | 应用层协议的优化
免费
132 | 磁盘IO的优化
133 | 减少磁盘读写次数
134 | 零拷贝与gzip_static模...
135 | 用tcmalloc优化内存分配
136 | 使用Google PerfTools分...
137 | 使用stub_status模块监控...
138 | 第三方模块源码的阅读
139 | Nginx的启动流程
140 | HTTP第三方模块的初始化
141 | if指令是邪恶的吗?
142 | 解读Nginx的核心转储文件
143 | 通过debug日志定位问题
144 | OpenResty概述
145 | OpenResty中的Nginx模块...
146 | 如何在Nginx中嵌入Lua代...
147 | OpenResty中Lua与C代码...
148 | 获取、修改请求与响应的S...
149 | 工具类型的SDK
150 | 同步且非阻塞的底层SDK:...
151 | 基于协程的并发编程SDK
152 | 定时器及时间相关的SDK
153 | share.DICT基于共享内存...
154 | 子请求的使用方法
155 | 基于OpenResty的WAF防火...
 写留言

精选留言(20)

  • 2018-12-10
    老师好,请教一下课件中的接收URI的部分为什么会涉及到请求行呢?我理解URI仅仅是一个字符串而已,请求行处理是右边接收header的逻辑

    作者回复: 一个标准的HTTP请求是这样的:GET /uri HTTP/1.1\r\nHost: xxx\r\n,这里第一个\r\n就是请求行。

    5
  • 2019-01-31
    connection_pool_size 512 字节是 nginx 框架和客户端建立了连接时就产生的。
    当客户端有数据请求发来时,这时候是在 request_pool_size 4k 的空间里,开始分配出具体的 client_header_buffer_size 1k 这样吗?
    然后,如果客户端的请求头部太长、超过了 4k ,这时候 large_client_header_buffers 4 8k 就会起作用吗?
    也就是说,当有 large_client_header_buffers 被分配的时候,其实 request_pool_size 已经不止起始分配的 4k 那么大了。是这样理解吗?
    展开

    作者回复: 对的!

    2
  • 2019-04-29
    有两个问题请教一下老师:
    1. 对于状态机我好像还是不太理解, 状态机解析请求行和header是指不同的参数匹配不同的方法进行处理吗? 比如get请求和post请求, xml和json采用不同的状态机处理就是对应不同的解析方法
    2. ngx是把操作系统内核中的数据copy了一份到用户态, 为什么要做这次copy呢,copy数据不是也消耗时间吗, 为什么不采用零拷贝技术与操作系统内核共用这部分内存呢, 这样也有利于提高处理效率吧?

    作者回复: 1、状态机解析请求行是指:比如接收到GET /inde时,就知道接收完方法了,在解析path过程中;接收到GET /index.htm HTTP/1.1\r\nHos时,就知道接收完request line,正在解析Header头部,其中第1个header尚未解析出name。
    对http body通常不用使用状态机。
    2、任何技术都有两面性,与内核共用会导致进程不能随时修改内存中的内容,否则内核很可能要崩掉。建议你看一下内核态地址空间与用户态地址空间的区别。

    1
  • 2019-01-10
    老师好,之前讲的connection_pool_size和request_pool_size还理解,又加入了client_header_buffer_size:1k,有点晕,client_header_buffer_size:1k和request_pool_size:4k 这两块内存的作用有什么不同呢?

    作者回复: 1、client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size),如果连接被复用的话,虽然请求内存池会被释放,但连接内存池照旧使用。所以,我们需要先分清连接与请求,并清楚他们的内存池。
    2、pool_size只是内存池的初始分配大小,当然实际使用中可以超出此大小。而client_header_buffer_size则具体指明某一用途下的内存大小,这里就是最开始接收HTTP请求的内存大小。

    1
  • 2018-12-10
    epoll wait、epoll ctl 那块很受用

    作者回复: :-)

    1
  • 2019-09-09
    header 没超过1K的话 request_pool_size 分配4K在那边就没用 了?

    作者回复: 是的

  • 2019-08-11
    多看两遍的理解,不知对否。从连接池默认的512k中拿出1k用于client_header_buffer_size(作用是设置读取客户端请求头的缓冲区大小,并不是用于缓存请求头,不知对不对?这里面装的到底是什么很关键)。接下来进入接收uri,分配请求池(默认4k,如果请求头大于4k会扩容),开始解析请求行,发现超过1k,从请求池中开辟large_client_header_buffers(初始8k,官方文档表示设置用于读取大客户端请求头的缓冲区的最大数目和大小。),将client_header_buffer_size中的1k复制进来作为大小标准,再使用阶梯型4-8k策略直到满足,然后状态机解析请求行。请求头一样的处理流程。麻烦老师指正我的思路问题
    展开

    作者回复: 理解正确,因为TCP请求是字节流,需要先接收再用状态机解析。

  • 2019-06-05
    老师,好。如果要对response headers中的location按照一定条件进行修改,比方说当这个location等于a的时候,对这个location进行替换,有什么办法么?我看到有一个headers-more-nginx-module,可是貌似并未生效
  • 2019-05-30
    再请教老师,如果请求URL很大时,是超过1K时large_client_header_buffers 4 8k生效,分配8K内存,还是当超过4K 大小时 large_client_header_buffers 4 8k生效分配8K内存?
     request_pool_size 4k 这部分数据中,包括client_header_buffer_size 1K 的数据吗?
    多谢
    展开

    作者回复: 1、超过1K,就分配8K
    2、如果未超过1K,不包含;如果超过了,就直接在请求内存池中分配8K,并把那1K拷贝过来

  • 2019-05-30
    请教老师,其他人提问您回复过“client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size)“,我的理解是,连接内存池分配的client_header_buffer_size 1K这块内存空间实际是属于 request_pool_size 4k 内存空间的一部分?不知是否正确,多谢。

    作者回复: 不对。这两者不同。
    1、request_pool_size的含义是:分配请求内存池,且请求内存池的初始分配 大小是4K;
    2、而client_header_buffer_size的含义是:分配1K的内存空间,且从连接内存池中分出来。

  • 2019-05-29
    老师您好,结合视频、PPT和他人留言,有些地方不太明白,想请教一下
    1、结合36节介绍,我的理解是,不管连接内存池还是请求内存池,只是一个数据结构,可以看做一个分配实际内存存储空间的工具,不知我的理解对不对;
    2、结合第 1 个问题,其他人提问您回复过“client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size)“,我的理解是,连接内存池分配的client_header_buffer_size 1K这块内存空间实际是属于 request_pool_size 4k 内存空间的一部分?
    3、结合第 2 个问题,实际是连接内存池分配了用于存储请求信息的内存空间,不知这样理解对不对;
    4、结合第 2 个问题,是不是在client_header_buffer_size 1K分配的时候request_pool_size 4k就已经分配了?因为您PPT中client_header_buffer_size 1K 和 request_pool_size 4k是在2页,分别是HTTP接收和接收URI,感觉是先有的client_header_buffer_size 1K 后有的request_pool_size 4k,但是看到其他人的回复中又像是嵌套包含的意思,所有有点晕,希望老师解惑;
    5、结合第2和4问题,本节视频6分42秒左右,您提到,如果URL很大,超过1K,这时候会分配large_client_header_buffers 4 8k ,比如8K,这时候,会把client_header_buffer_size 1K复制过来,也就是还剩7K,这地方我理解,那我想问下, 如果第2个问题我理解的是对的,那 request_pool_size 4k用了1K 还剩的3K 是做什么用的?会不会复制到large_client_header_buffers 4 8k 中?

    因为也是刚接触,想深入了解下,能力有限,把自己搞晕了,还望老师解惑,问题比较多,见谅,十分感谢!
    展开

    作者回复: 不要把问题罗列到一起啊,5个问题分5次提问好了。
    先回答第1个:
    对,描述内存池的结构体所占用的内存,与内存池分配出的内存,隶属于2块内存池中。比如,描述HTTP请求内存池的结构体,其实是从连接内存池中分配出的。

  • 2019-04-27
    有两个问题请教一下老师:
    1. 对于状态机我好像还是不太理解, 状态机解析请求行和header是指不同的参数匹配不同的方法进行处理吗? 比如get请求和post请求, xml和json采用不同的状态机处理就是对应不同的解析方法
    2. ngx是把操作系统内核中的数据copy了一份到用户态, 为什么要做这次copy呢,copy数据不是也消耗时间吗, 为什么不采用零拷贝技术与操作系统内核共用这部分内存呢, 这样也有利于提高处理效率吧?
  • 2019-04-12
    老师您好,看了这节课视频有如下疑问:
    1. 利用epoll,nginx是在有读写事件触发时,fork一个线程去遍历就绪的fd_sets么?所以nginx才可以用少量的进程处理大量的请求?
    2. client_header_buffer_size为什么要从connection_pool中分配呢,是因为如果uri+header不超过1k的话,request_pool以及large_client_header_buffers就不用再分配了么?
    3. 为什么connection_pool_size指令的默认值不设为1k呢

    望得到老师答复,感谢!
    展开

    作者回复: 1、不是,单线程一样可做到,只要定期的、且非常及时的去查看是否有触发的读写事件即可。
    2、建立好连接后就会有connection_pool,此时究竟收到的消息是HTTP/1还是其他协议的消息并不确定,所以只能从这个内存池中分配。
    对。
    3、connection连接管理并不只为HTTP协议服务;另外,很可能连接建立起后客户端长期不发送消息,分配过大内存可能浪费。

  • 2019-04-09
    请教一下老师,从逻辑上即便最大的内存分配到32k,还是有可能会出现请求大于32k的情况吧,那系统是怎么解决的呢?

    作者回复: 拒绝服务,发送4xx错误码给客户端,对于概率极小的不正常请求这样做没有问题

  • 2019-03-23
    老师。问一个比较初级的问题,TCP三次握手建立连接后,客户端再次发送数据,到达服务器后是如何定位到之前建立的连接呢,是不是这个TCP也是监听了一个端口呢,

    作者回复: 根据TCP四元组和sequence信息

  • 2019-03-18
    老是您好。connection_pool_size默认512字节,client_header_buffer_size 1k是从连接内存池分配的,这1k的内存一定会分配吗?即使第一次接收http请求行小于512B。如果是的话,会不会有点浪费。初始的connection_pool_size512字节内存池具体是做什么的,似乎没有讲清楚~

    作者回复: 当接收到任1个字节时,才会分配这1K内存。建立好连接,到接收到字节,有时间差的。内存池的功能,请参考36课。
    浪费和效率是无法兼顾的,通常我们需要从概率角度出发,解决最常出现的场景,例如,我们配置的HTTP大头部,通常默认配置是8K*4,你可以思考下为什么不分配成1K*32

  • 2019-03-10
    可以这么理解吗,请求内存池如果增大,连接内存池也会相应的增大,因为,请求内存池是向连接内存池申请的内存

    作者回复: 不是,内存池空间是直接调用malloc从进程堆内存中分配的。描述内存池的结构体与实际从内存池中分出的内存是两回事

  • 2019-01-29
    老师,如果请求的URI不超过1k,client_header_buffer_size够用的话,后面的8k的large_client_header_buffers是不是就不用分配了?而4k的请求内存池是一定会分配的,是吗?另外,large_client_header_buffers是不是从请求内存池分配的

    作者回复: 1、对,不用分配。
    2、一定分配。
    3、是的。

  • 2019-01-17
    large_client_header_buffers对应的内存使从请求连接池中分配的吗?

    作者回复: 请求的内存池

  • 2018-12-20
    视频中好像没有很具体的讲出连接内存池的作用,只是讲到从连接内存池中分配出了请求内存池,除此之外,还有其他的作用吗?

    作者回复: 所有与请求无关的内存都要在连接内存池里分配.例如第一次接收http请求行,此时既没有Host也没有URL,只能用连接内存池里分配默认1K的内存