Web 协议详解与抓包实战 
43211 人已学习
新⼈⾸单¥68
课程目录
已完结/共 121 讲
第一章：HTTP/1.1协议 (38讲)
时长 05:53
时长 06:57
时长 07:31
时长 14:53
时长 10:32
时长 09:34
时长 12:20
时长 24:23
时长 20:52
时长 11:11
时长 04:52
时长 11:03
时长 10:49
时长 13:17
时长 10:28
时长 04:42
时长 05:31
时长 08:11
时长 11:34
时长 09:41
时长 14:23
时长 19:26
时长 15:43
时长 11:35
时长 11:29
时长 11:30
时长 12:55
时长 15:14
时长 12:18
时长 10:41
时长 08:08
时长 11:25
时长 11:51
时长 04:57
时长 13:11
时长 06:52
时长 16:02
时长 14:20
第二章：WebSocket协议 (10讲)
时长 11:25
时长 09:25
时长 09:01
时长 06:32
时长 06:06
时长 07:29
时长 09:29
时长 07:42
时长 02:58
时长 06:19
第三章：HTTP/2协议 (21讲)
时长 08:21
时长 07:25
时长 08:03
时长 08:44
时长 05:37
时长 06:25
时长 08:36
时长 07:42
时长 05:39
时长 07:52
时长 05:52
时长 13:44
时长 08:02
时长 05:57
时长 05:05
时长 06:19
时长 09:06
时长 10:22
时长 09:28
时长 07:17
时长 09:53
第四章：TLS/SSL协议 (14讲)
时长 04:34
时长 06:19
时长 06:03
时长 07:11
时长 06:39
时长 06:41
时长 09:56
时长 08:13
时长 05:37
时长 06:57
时长 07:28
时长 05:16
时长 07:28
第五章：TCP协议 (25讲)
时长 06:58
时长 09:09
时长 09:42
时长 12:44
时长 05:56
时长 05:32
时长 07:46
时长 05:35
时长 08:35
时长 07:27
时长 05:27
时长 08:55
时长 09:04
时长 08:50
时长 06:41
时长 04:09
时长 07:20
时长 06:00
时长 06:19
时长 11:13
时长 06:59
时长 05:15
时长 05:15
时长 05:43
时长 06:02
第六章：IP协议 (13讲)
时长 08:34
时长 06:54
时长 06:55
时长 08:21
时长 11:25
时长 10:46
时长 09:38
时长 08:37
时长 08:04
时长 09:38
时长 10:02
时长 15:21
时长 02:11
Web 协议详解与抓包实战
登录|注册
当前播放: 04 | 基于ABNF语义定义的HTTP消息格式
00:00 / 00:00
高清
- 高清
1.0x
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.75x
- 0.5x
付费课程，可试看
01 | 课程介绍
02 | 内容综述
03 | 浏览器发起HTTP请求的典型场景
04 | 基于ABNF语义定义的HTTP消息格式
05 | 网络为什么要分层：OSI模型与TCP/IP模型
06 | HTTP解决了什么问题？
07 | 评估Web架构的七大关键属性
08 | 从五种架构风格推导出HTTP的REST架构
09 | 如何用Chrome的Network面板分析HTTP报文
10 | URI的基本格式以及与URL的区别
11 | 为什么要对URI进行编码？
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长短连接？
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相关头部
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式（1）：定长包体
21 | HTTP包体的传输方式（2）：不定长包体
22 | HTML form表单提交时的协议格式
23 | 断点续传与多线程下载是如何做到的？
24 | Cookie的格式与约束
25 | Session及第三方Cookie的工作原理
26 | 浏览器为什么要有同源策略？
27 | 如何“合法”地跨域访问？
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限制的网络
35 | 网络爬虫的工作原理与应对方式
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名？
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSocket
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染攻击
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问题
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS/SSL报文？
52 | h2c：在TCP上从HTTP/1升级到HTTP/2
53 | h2：在TLS上从HTTP/1升级到HTTP/2
54 | 帧、消息、流的关系
55 | 帧格式：Stream流ID的作用
56 | 帧格式：帧类型及设置帧的子类型
57 | HPACK如何减少HTTP头部的大小？
58 | HPACK中如何使用Huffman树编码？
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编码格式
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要Stream优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及HTTP/3的意义
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么？
70 | TLS协议的工作原理
71 | 对称加密的工作原理（1）：XOR与填充
72 | 对称加密的工作原理（2）：工作模式
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用：PKI证书体系
77 | 非对称密码应用：DH密钥交换协议
78 | ECC椭圆曲线的特性
79 | DH协议升级：基于椭圆曲线的ECDH协议
80 | TLS1.2与TLS1.3 中的ECDH协议
81 | 握手的优化：session缓存、ticket票据及TLS1.3的0-RTT
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流程
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络报文
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安全问题
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口：发送窗口与接收窗口
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口的关系
97 | 如何减少小报文提高网络效率
98 | 拥塞控制（1）：慢启动
99 | 拥塞控制（2）：拥塞避免
100 | 拥塞控制（3）：快速重传与快速恢复
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞控制算法
103 | Google BBR拥塞控制算法原理
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-WAIT状态
106 | keepalive 、校验和及带外数据
107 | 面向字节流的TCP连接如何多路复用
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换：ARP与RARP协议
113 | NAT地址转换与LVS负载均衡
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手：ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找规律
121 | 结课测试&结束语
本节摘要
补充说明：
如果在 macOS 系统下运行 telnet 命令，会与 Xshell 下略有不同。
先输入：
复制代码
telnet www.taohui.pub 80
按回车键后会出现：
复制代码
Trying 116.62.160.193... Connected to www.taohui.pub. Escape character is '^]'.
然后再输入：
复制代码
GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
回车后继续输入：
复制代码
Host:www.taohui.pub
输入完毕后，按两次回车即可。
ABNF(Augmented BNF) 官方文档
https://www.ietf.org/rfc/rfc5234.txt
巴科斯范式的英文缩写为 BNF，它是以美国人巴科斯 (Backus) 和丹麦人诺尔 (Naur) 的名字命名的一种形式化的语法表示方法，用来描述语法的一种形式体系，是一种典型的元语言。又称巴科斯 - 诺尔形式 (Backus-Naur form)。它不仅能严格地表示语法规则，而且所描述的语法是与上下文无关的。它具有语法简单，表示明确，便于语法分析和编译的特点。
课程相关资料下载地址
https://gitee.com/geektime-geekbang/geektime-webprotocol
Windows 系统 Xshell 软件下载链接
https://www.netsarang.com/zh/xshell/
macOS 系统安装 telnet 的方法
打开终端，先通过以下命令安装 homebrew ：
复制代码
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装完 homebrew 之后，运行 brew install telnet
Wireshark 下载地址
https://www.wireshark.org/download.html
推荐书籍
登录 后留言
全部留言(47)
- 最新
- 精选
雷厉锋行
出现以下情况：
➜ ~ telnet www.taohui.pub 80
Trying 116.62.160.193...
Connected to www.taohui.pub.
Escape character is '^]'.
需要将以下请求地址：
GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
复制粘贴（去掉前面的空格）。
粘贴之后，按Command + Return进行换行（不要直接 Return）
换行之后粘贴：Host:www.taohui.pub（去掉前面的空格）。
然后再添加Command + Ruturn 两次就能得到对应的结果了。
总结：
文中说的换行指的是 Command + Return 而不是直接Return。
直接复制粘贴的文本：GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1 前面包含空格，需要去掉空格再粘贴。
作者回复: 用MAC的同学可以参考雷锋兄的分享哈:-)
2019-05-09
6
32
Geek_35f374
老师 好奇怪啊 我是mac 系统 为啥我用telnet GET以后返回了400
telnet www.taohui.pub 80
Trying 116.62.160.193...
Connected to www.taohui.pub.
Escape character is '^]'.
GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
HTTP/1.1 400 Bad Request
Server: openresty/1.13.6.2
Date: Wed, 08 May 2019 09:21:55 GMT
Content-Type: text/html
Content-Length: 179
Connection: close
作者回复: 这是因为你需要在请求行下输入： Host: www.taohui.pub RFC规定，如果请求中没有携带Host头部，一律返回400 Bad Request，目前基本Web服务器都遵循这一规则
2019-05-08
9
吃饭饭
Mac系统使用 zsh 时，不用 command + enter ，直接回车就行。
具体操作步骤：
第一步：命令行输入 telnet www.taohui.pub 80 ， 回车，结果显示如下
Trying 116.62.160.193...
Connected to www.taohui.pub.
Escape character is '^]'.
第二步：在上面的结果下输入 请求地址并回车，示例如下
Trying 116.62.160.193...
Connected to www.taohui.pub.
Escape character is '^]'.
GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
第三步：在上面的结果下输入 Host:www.taohui.pub ，两次回车
telnet www.taohui.pub 80
Trying 116.62.160.193...
Connected to www.taohui.pub.
Escape character is '^]'.
GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
Host:www.taohui.pub
作者回复: 非常详尽，谢谢分享！
2019-05-21
3
7
hellochenpro
ABNF 就像学习新语言，新协议的地图一样。从了解 ABNF 开始学习一种新的协议，确实有用。
作者回复: 是的，中间件、容器都是照着ABNF对协议的定义来实现功能的
2019-05-07
5
就学45分钟
在xshell6中还没有来得及全部输完那句GET /wp-content/plugins/...，软件就自动connection closing...Socket了，想问问老师是什么原因啊？
作者回复: 因为服务器有设超时时间，通常如果1分钟内还没有接收到完整的HTTP请求（主要指请求行和头部），服务器会关连接
2019-05-11
2
4
WL
请问一下老师我是在docker的linux容器中发起请求的, 但是在wireshark所有网卡中中没又看到这个容器的IP和mac地址, 也抓不到容器的包, 请问一下老师这个是什么原因, 有什么办法能抓到容器的包呢?
作者回复: 1、容器肯定需要从你的网卡出流量的，所以可能只是更换了IP，你可以用端口等捕获过滤器来抓包，目前端口是不会变的，用http.request.host等显示过滤器来找报文。 2、还是要在wireshark上，找到出流量的那个网卡，在那个接口上抓包。
2019-05-08
4
周曙光爱学习
telnet可以理解为类似于浏览器功能，然后连接到server，然后发送http协议给server，server也是要解析http发过去的header头信息以返回客户端想要的内容，流程是酱紫么
作者回复: 是的，telnet只是建立了TCP连接
2019-05-06
4
小曼
使用 xshell 输入 telnet www.taohui.pub 80 然后输入/wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
和 直接在地址栏输入http://www.taohui.pub/wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 有什么区别，是浏览器方式会自动握手，然后请求资源。 shell方式先握手，然后等待获取资源的命令吗？
作者回复: 浏览器会自动把你输入的URL，混合GET方法和HTTP协议，组装成HTTP请求，再从URL中取出域名，用DNS找出IP地址，建立TCP连接，再发送请求。 而xshell是直接建立TCP连接，发送请求，省去了前面的步骤。
2020-03-16
3
Little sun
HTTP/1.1 301 Moved Permanently
Server: openresty/1.19.3.1
Date: Wed, 16 Jun 2021 15:32:32 GMT
Content-Type: text/html
Content-Length: 175
Connection: keep-alive
Location: https://www.taohui.pub/wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>openresty/1.19.3.1</center>
</body>
</html>
老师，win10的xshell返回301
作者回复: 我的网络重构啦，现在使用hexo静态站点，不再用wordpress了
2021-06-16
2
2
aaa
我之前看过rfc2616，看了足足三遍还是只能看懂三四成，这个ABNF当时就看的云里雾里
作者回复: RFC其实是给实现协议的开发者参考用的，非常难读懂。这个ABNF作为元语言确实很晦涩，不过使用场景到是特别多，在Grpc等应用层协议中也能看到它的身影
2020-07-31
2
收起评论