下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 15 | 如何管理跨代理服务器的长短连接?
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Web协议详解与抓包实战

共121讲 · 121课时,约1100分钟
7293
免费
01 | 课程介绍
免费
02 | 内容综述
免费
03 | 浏览器发起HTTP请求的典型...
免费
04 | 基于ABNF语义定义的HTTP消...
免费
05 | 网络为什么要分层:OSI模...
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属...
08 | 从五种架构风格推导出HTTP...
免费
09 | 如何用Chrome的Network面...
10 | URI的基本格式以及与URL的...
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长...
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相...
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1)...
21 | HTTP包体的传输方式(2)...
22 | HTML form表单提交时的协...
23 | 断点续传与多线程下载是如...
24 | Cookie的格式与约束
25 | Session及第三方Cookie的...
26 | 浏览器为什么要有同源策略...
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限...
35 | 网络爬虫的工作原理与应对...
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名...
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSoc...
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染...
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问...
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS...
52 | h2c:在TCP上从HTTP/1升...
53 | h2:在TLS上从HTTP/1升级...
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的...
57 | HPACK如何减少HTTP头部的...
58 | HPACK中如何使用Huffman树...
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编...
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要 Stream 优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及 HTTP/3...
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1)...
72 | 对称加密的工作原理(2)...
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书...
77 | 非对称密码应用:DH密钥交...
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线...
80 | TLS1.2与TLS1.3 中的EC...
81 | 握手的优化:session缓存...
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流...
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络...
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安...
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收...
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口...
97 | 如何减少小报文提高网络效...
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传...
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞...
103 | Google BBR拥塞控制算法...
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-W...
106 | keepalive 、校验和及带...
107 | 面向字节流的TCP连接如何...
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换...
113 | NAT地址转换与LVS负载均...
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找...
121 | 结束语
本节摘要
展开

精选留言(18)

  • 2019-05-21
    老师好,想问一下打开一个网页(如果带css样式表和其它js请求)总共会发起多少长连接,这个有什么工具可以测出来吗?课程会讲如何测吗?

    作者回复: 你是问浏览器吧?Chrome的Network面板就能看到,概述图形面板里,看同时出现的线条数就可以。目前,Chrome最多并发6个连接。

    2
  • 2019-05-26
    长链接实现原理是否可以讲解一下,谢谢

    作者回复: 1、长连接只是将TCP连接的特性暴露出来;
    2、客户端和服务器,需要在完成1次request/response后,继续保持TCP连接不要关闭,留待下次复用。
    3、客户端和服务器都有定时器,空闲时间过长后,就会关闭。
    以上就是HTTP长连接。

    1
  • 2019-05-21
    老师,长连接和短连接的应用场景是怎样的呢,谢谢

    作者回复: 如浏览器访问页面通常用长连接,因为WEB页面有上百个对象,复用连接减少了TCP握手次数、解决了拥塞控制问题。
    如agent通过HTTP上报数据可用短连接,因为间隔时间久,服务器不用浪费内存、CPU等资源来维护使用率很低的连接。

    1
  • 2019-08-21
    在介绍第二个例子中,客户端和服务段使用1.1协议 keep-alive ,代理使用1.0 。客户端和服务段是否可以连接成功,正常交互数据?

    作者回复: 你是说陈旧的代理服务器那个例子?这里的代理默认使用1.0,但它的问题是不能识别Connection: KeepAlive头部。当浏览器试图复用连接发送第2个请求时会出错。

  • 2019-08-13
    老师,TCP连接是不是一次只能发一个请求,并且等待这个请求返回之后,才能发下一次请求?

    作者回复: TCP是面向字符流的协议,它没有消息、请求的概念,需要TCP之上的应用层去区分消息的边界。可以看看第85课

  • 2019-08-10
    老师好,向您请教最近遇到的一个问题,APP应用通过http长链接向后台发送请求,中间有3个代理服务器,偶尔发现app发送的请求返回的状态码是正常的200,但是没有返回值,后台也没有收到结果,这是什么原因,该如何解决呢?

    作者回复: 你是说,status code是200,但没有body是吗?中间的代理服务器上,你可以查看access.log,看看3个代理是不是都没有body。可以通过response的content-length来确定,如果是Nginx可以通过$body_bytes_sent变量来看,详见《Nginx核心知识100讲》第74课

  • 2019-06-11
    老师,源服务器忽略proxy-connection, 这样的话不就无法起到替换的作用了?例如,客户端同时发送了connection 和proxy-connection ,老旧代理同时转发了两个头部,源服务器忽略proxy-conn, 但是看到conn头部,依然保持了长连接
  • 2019-06-11
    请问老师关于proxy-connection的复杂场景会如何表现:比如客户端与服务器之前有两台代理服务器A,B。A是老式,B是新式。那么从A到B的请求应该也有proxy-connection,但从B到A的返回头呢?因为B代理支持长连接,在返回时是不是带上了connection,然后最终传回客户端?
  • 2019-05-28
    老师请问老旧代理服务器收到带有proxy-connection的请求而退化成短链接的过程是不是因为当原始服务器收到转发的请求后会忽略proxy-connection而使得后续的响应中都不会带有这个头域?而新的代理服务器能把proxy-connection主动的转为connection头域?
  • 2019-05-22
    看你回答前一个关于浏览器感知的问题 浏览器明确知道用户点击配置了代理服务器 。一般反向代理例如nginx都是配置在其他的服务器上的 根本就不会去配置浏览器中的代理服务器 那浏览器岂不是感知不到了 那就不会携带proxy connection了?还有老的代理服务器不认识 connection 会不会也不认识proxy connection?

    作者回复: 1、Nginx作为反向代理时通常不需要携带proxy connection头部,因为它面对的都是企业自有服务器,是否支持长连接很清楚。
    2、如果Nginx连接的是外部服务,就需要手动通过proxy_set_header等指令来向上游配置连接属性了。
    3、目前的Nginx框架不处理proxy connection指令。

  • 2019-05-21
    再请问一下老师, 当使用Proxy-Connection头的时候Proxy-Connect后面的一系列头部也是仅表示与当前连接相关的吗?

    作者回复: 是的

  • 2019-05-21
    请问一下老师HTTP协议的长连接在TCP层是怎么实现的, 是通过不断发送心跳检测的方式实现的吗?

    作者回复: 与TCP无关,只是HTTP的客户端、服务器约定好,处理完一次request/response事务后,一定时间内不关连接(还得记Nginx中的keepalive_timeout 75s指令吗?),留待下次复用

  • 2019-05-20
    那nginx 反向代理呢?,是不是配置了upstream就算nginx感知到了代理,转发的请求就会加上proxy_connection头?

    作者回复: 不会,Nginx主要应用场景是企业内网边缘入口,它所服务的upstream都是企业自己的服务器,而不是internet上的未知服务器

  • 2019-05-20
    老师前面回答的: 它可感知范围内配置了代理,自然就会启用proxy_connection

    这个可感知范围内指什么啊?

    作者回复: 指:浏览器明确知道用户点击配置了代理服务器

  • 2019-05-19
    还有个问题 ,当浏览器设置的代理后,会自动把 Connection 转换为 Proxy_Connection 头部,
    这是说明, Proxy_Connection 只针对正向代理吗?
    对于反向代理,怎么处理老旧代理服务器 Connection 头部的问题吗?

    作者回复: 不是,浏览器无法知道有没有反向代理,但如果在它可感知范围内配置了代理,自然就会启用proxy_connection。反向代理是一样的

  • 2019-05-19
    使用 Proxy-Connection 这个头部
    当客户端向代理服务器发送一个长链接请求当时候,会带上一个 Proxy-Connection: Keep-Alive 头部
    然后老旧的代理服务不识别这个头部,会直接转发到原始服务器,当原始的服务器收到转发的请求的时候会同时检查 Proxy-Connection 和 Connection 头部,若没有 Connection 头部,会把 Proxy-Connection : close 发送给你代理服务器,然后代理服务器转发客户端
    老师 是这样理解的吗?

    展开

    作者回复: 只有代理服务器会处理Proxy-Connection头部,源服务器会忽略这个头部

  • 2019-05-18
    老师,我有个问题,一般长连接会保持多久,客户端和服务器什么时候决定关闭长连接?关闭总是由客户端发起吗。是不是服务器如果长时间未接收到数据就会关闭连接,还是浏览器在页面渲染完就关闭长连接。 比如打开一个网页(如果带css样式表和其它js请求)总共会发起多少长连接。

    作者回复: 客户端和服务器谁先超时,谁就先关闭连接。比如,Nginx的默认超时时间是65秒。当然可以通过配置文件修改。
    打开一个网页,Chrome当前默认最多打开6个连接。

  • 2019-05-17
    老师好
    Proxy-connection 是怎么被加到header 中的呢?还有老的代理服务器和新的代理服务器是怎么处理proxy-connection 头部的呢

    作者回复: 1、每个编程框架都有添加header的方式,例如Nginx中有一个add_header指令,而js、python的requests库等也有相应的添加header的方法。
    2、老的代理不认proxy-connection头部时,就是直接转发;认识该头部的代理,会按课程中所述的方式处理连接。