• soooldier
    2018-12-10
    老师好,请教一下课件中的接收URI的部分为什么会涉及到请求行呢?我理解URI仅仅是一个字符串而已,请求行处理是右边接收header的逻辑

    作者回复: 一个标准的HTTP请求是这样的:GET /uri HTTP/1.1\r\nHost: xxx\r\n,这里第一个\r\n就是请求行。

    
     5
  • halochenpro
    2019-01-31
    connection_pool_size 512 字节是 nginx 框架和客户端建立了连接时就产生的。
    当客户端有数据请求发来时,这时候是在 request_pool_size 4k 的空间里,开始分配出具体的 client_header_buffer_size 1k 这样吗?
    然后,如果客户端的请求头部太长、超过了 4k ,这时候 large_client_header_buffers 4 8k 就会起作用吗?
    也就是说,当有 large_client_header_buffers 被分配的时候,其实 request_pool_size 已经不止起始分配的 4k 那么大了。是这样理解吗?
    展开

    作者回复: 对的!

    
     2
  • 韩健楚
    2019-05-29
    老师您好,结合视频、PPT和他人留言,有些地方不太明白,想请教一下
    1、结合36节介绍,我的理解是,不管连接内存池还是请求内存池,只是一个数据结构,可以看做一个分配实际内存存储空间的工具,不知我的理解对不对;
    2、结合第 1 个问题,其他人提问您回复过“client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size)“,我的理解是,连接内存池分配的client_header_buffer_size 1K这块内存空间实际是属于 request_pool_size 4k 内存空间的一部分?
    3、结合第 2 个问题,实际是连接内存池分配了用于存储请求信息的内存空间,不知这样理解对不对;
    4、结合第 2 个问题,是不是在client_header_buffer_size 1K分配的时候request_pool_size 4k就已经分配了?因为您PPT中client_header_buffer_size 1K 和 request_pool_size 4k是在2页,分别是HTTP接收和接收URI,感觉是先有的client_header_buffer_size 1K 后有的request_pool_size 4k,但是看到其他人的回复中又像是嵌套包含的意思,所有有点晕,希望老师解惑;
    5、结合第2和4问题,本节视频6分42秒左右,您提到,如果URL很大,超过1K,这时候会分配large_client_header_buffers 4 8k ,比如8K,这时候,会把client_header_buffer_size 1K复制过来,也就是还剩7K,这地方我理解,那我想问下, 如果第2个问题我理解的是对的,那 request_pool_size 4k用了1K 还剩的3K 是做什么用的?会不会复制到large_client_header_buffers 4 8k 中?

    因为也是刚接触,想深入了解下,能力有限,把自己搞晕了,还望老师解惑,问题比较多,见谅,十分感谢!
    展开

    作者回复: 不要把问题罗列到一起啊,5个问题分5次提问好了。
    先回答第1个:
    对,描述内存池的结构体所占用的内存,与内存池分配出的内存,隶属于2块内存池中。比如,描述HTTP请求内存池的结构体,其实是从连接内存池中分配出的。

    
     1
  • WL
    2019-04-29
    有两个问题请教一下老师:
    1. 对于状态机我好像还是不太理解, 状态机解析请求行和header是指不同的参数匹配不同的方法进行处理吗? 比如get请求和post请求, xml和json采用不同的状态机处理就是对应不同的解析方法
    2. ngx是把操作系统内核中的数据copy了一份到用户态, 为什么要做这次copy呢,copy数据不是也消耗时间吗, 为什么不采用零拷贝技术与操作系统内核共用这部分内存呢, 这样也有利于提高处理效率吧?

    作者回复: 1、状态机解析请求行是指:比如接收到GET /inde时,就知道接收完方法了,在解析path过程中;接收到GET /index.htm HTTP/1.1\r\nHos时,就知道接收完request line,正在解析Header头部,其中第1个header尚未解析出name。
    对http body通常不用使用状态机。
    2、任何技术都有两面性,与内核共用会导致进程不能随时修改内存中的内容,否则内核很可能要崩掉。建议你看一下内核态地址空间与用户态地址空间的区别。

    
     1
  • napolenAx
    2019-01-10
    老师好,之前讲的connection_pool_size和request_pool_size还理解,又加入了client_header_buffer_size:1k,有点晕,client_header_buffer_size:1k和request_pool_size:4k 这两块内存的作用有什么不同呢?

    作者回复: 1、client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size),如果连接被复用的话,虽然请求内存池会被释放,但连接内存池照旧使用。所以,我们需要先分清连接与请求,并清楚他们的内存池。
    2、pool_size只是内存池的初始分配大小,当然实际使用中可以超出此大小。而client_header_buffer_size则具体指明某一用途下的内存大小,这里就是最开始接收HTTP请求的内存大小。

    
     1
  • 何永鹏
    2018-12-10
    epoll wait、epoll ctl 那块很受用

    作者回复: :-)

    
     1
  • Geek_0b7655
    2020-01-12
    1.在nix_event_accept回调函数中,当客户端和nginx框架建立了连接后(accept),创建了connection_pool_size 512字节的连接内存池;
    2.当有客户端数据真正到来时,调用ngx_http_wait_request_handler回调函数,在该函数中才在刚创建的连接内存池中分配出client_header_buffer_size 1k大小的内存,开始接收数据(recv);然后创建请求内存池request_pool_size 4k大小。
    3.在ngx_http_process_request_line处理接收到的请求行时,如果发现请求行太长,large_client_header_buffers 4 8k被分配,看源代码好像仍然是从连接内存池中申请的。
    展开

    作者回复: 是的,你的理解都对^_^

    
    
  • Geek_0b7655
    2020-01-12
    老师,我看了下源代码,好像client_header_buffer_size和large_client_header_buffers都是从连接内存池中分配的,好像跟老师这里有点出入。

    作者回复: 是从连接内存池分配出的啊。你是说和PPT么?PPT里是拆成两页了,实在放不下,并不是前一页都是从连接内存池分配,后一页都是从请求内存池分配的。

    
    
  • 啊啊啊哦哦
    2019-09-09
    header 没超过1K的话 request_pool_size 分配4K在那边就没用 了?

    作者回复: 是的

    
    
  • Hector
    2019-08-11
    多看两遍的理解,不知对否。从连接池默认的512k中拿出1k用于client_header_buffer_size(作用是设置读取客户端请求头的缓冲区大小,并不是用于缓存请求头,不知对不对?这里面装的到底是什么很关键)。接下来进入接收uri,分配请求池(默认4k,如果请求头大于4k会扩容),开始解析请求行,发现超过1k,从请求池中开辟large_client_header_buffers(初始8k,官方文档表示设置用于读取大客户端请求头的缓冲区的最大数目和大小。),将client_header_buffer_size中的1k复制进来作为大小标准,再使用阶梯型4-8k策略直到满足,然后状态机解析请求行。请求头一样的处理流程。麻烦老师指正我的思路问题

    作者回复: 理解正确,因为TCP请求是字节流,需要先接收再用状态机解析。

    
    
  • ss
    2019-06-05
    老师,好。如果要对response headers中的location按照一定条件进行修改,比方说当这个location等于a的时候,对这个location进行替换,有什么办法么?我看到有一个headers-more-nginx-module,可是貌似并未生效
    
    
  • 韩健楚
    2019-05-30
    再请教老师,如果请求URL很大时,是超过1K时large_client_header_buffers 4 8k生效,分配8K内存,还是当超过4K 大小时 large_client_header_buffers 4 8k生效分配8K内存?
     request_pool_size 4k 这部分数据中,包括client_header_buffer_size 1K 的数据吗?
    多谢

    作者回复: 1、超过1K,就分配8K
    2、如果未超过1K,不包含;如果超过了,就直接在请求内存池中分配8K,并把那1K拷贝过来

    
    
  • 韩健楚
    2019-05-30
    请教老师,其他人提问您回复过“client_header_buffer_size定义的这段内存,是从连接的内存池中分配出的(即connection_pool_size)“,我的理解是,连接内存池分配的client_header_buffer_size 1K这块内存空间实际是属于 request_pool_size 4k 内存空间的一部分?不知是否正确,多谢。

    作者回复: 不对。这两者不同。
    1、request_pool_size的含义是:分配请求内存池,且请求内存池的初始分配 大小是4K;
    2、而client_header_buffer_size的含义是:分配1K的内存空间,且从连接内存池中分出来。

    
    
  • WL
    2019-04-27
    有两个问题请教一下老师:
    1. 对于状态机我好像还是不太理解, 状态机解析请求行和header是指不同的参数匹配不同的方法进行处理吗? 比如get请求和post请求, xml和json采用不同的状态机处理就是对应不同的解析方法
    2. ngx是把操作系统内核中的数据copy了一份到用户态, 为什么要做这次copy呢,copy数据不是也消耗时间吗, 为什么不采用零拷贝技术与操作系统内核共用这部分内存呢, 这样也有利于提高处理效率吧?
    
    
  • 无菇朋友
    2019-04-12
    老师您好,看了这节课视频有如下疑问:
    1. 利用epoll,nginx是在有读写事件触发时,fork一个线程去遍历就绪的fd_sets么?所以nginx才可以用少量的进程处理大量的请求?
    2. client_header_buffer_size为什么要从connection_pool中分配呢,是因为如果uri+header不超过1k的话,request_pool以及large_client_header_buffers就不用再分配了么?
    3. 为什么connection_pool_size指令的默认值不设为1k呢

    望得到老师答复,感谢!
    展开

    作者回复: 1、不是,单线程一样可做到,只要定期的、且非常及时的去查看是否有触发的读写事件即可。
    2、建立好连接后就会有connection_pool,此时究竟收到的消息是HTTP/1还是其他协议的消息并不确定,所以只能从这个内存池中分配。
    对。
    3、connection连接管理并不只为HTTP协议服务;另外,很可能连接建立起后客户端长期不发送消息,分配过大内存可能浪费。

    
    
  • 码农Kevin亮
    2019-04-09
    请教一下老师,从逻辑上即便最大的内存分配到32k,还是有可能会出现请求大于32k的情况吧,那系统是怎么解决的呢?

    作者回复: 拒绝服务,发送4xx错误码给客户端,对于概率极小的不正常请求这样做没有问题

    
    
  • session
    2019-03-23
    老师。问一个比较初级的问题,TCP三次握手建立连接后,客户端再次发送数据,到达服务器后是如何定位到之前建立的连接呢,是不是这个TCP也是监听了一个端口呢,

    作者回复: 根据TCP四元组和sequence信息

    
    
  • Ignacio
    2019-03-18
    老是您好。connection_pool_size默认512字节,client_header_buffer_size 1k是从连接内存池分配的,这1k的内存一定会分配吗?即使第一次接收http请求行小于512B。如果是的话,会不会有点浪费。初始的connection_pool_size512字节内存池具体是做什么的,似乎没有讲清楚~

    作者回复: 当接收到任1个字节时,才会分配这1K内存。建立好连接,到接收到字节,有时间差的。内存池的功能,请参考36课。
    浪费和效率是无法兼顾的,通常我们需要从概率角度出发,解决最常出现的场景,例如,我们配置的HTTP大头部,通常默认配置是8K*4,你可以思考下为什么不分配成1K*32

    
    
  • 牛牛
    2019-03-10
    可以这么理解吗,请求内存池如果增大,连接内存池也会相应的增大,因为,请求内存池是向连接内存池申请的内存

    作者回复: 不是,内存池空间是直接调用malloc从进程堆内存中分配的。描述内存池的结构体与实际从内存池中分出的内存是两回事

    
    
  • 阿德
    2019-01-29
    老师,如果请求的URI不超过1k,client_header_buffer_size够用的话,后面的8k的large_client_header_buffers是不是就不用分配了?而4k的请求内存池是一定会分配的,是吗?另外,large_client_header_buffers是不是从请求内存池分配的

    作者回复: 1、对,不用分配。
    2、一定分配。
    3、是的。

    
    
我们在线,来聊聊吧