下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 04 | 基于ABNF语义定义的HTTP消息格式
00:00 / 00:00
标清
  • 高清
  • 标清
  • 普清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Web协议详解与抓包实战

共121讲 · 121课时,约1100分钟
7321
免费
01 | 课程介绍
免费
02 | 内容综述
免费
03 | 浏览器发起HTTP请求的典型...
免费
04 | 基于ABNF语义定义的HTTP消...
免费
05 | 网络为什么要分层:OSI模...
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属...
08 | 从五种架构风格推导出HTTP...
免费
09 | 如何用Chrome的Network面...
10 | URI的基本格式以及与URL的...
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长...
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相...
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1)...
21 | HTTP包体的传输方式(2)...
22 | HTML form表单提交时的协...
23 | 断点续传与多线程下载是如...
24 | Cookie的格式与约束
25 | Session及第三方Cookie的...
26 | 浏览器为什么要有同源策略...
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限...
35 | 网络爬虫的工作原理与应对...
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名...
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSoc...
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染...
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问...
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS...
52 | h2c:在TCP上从HTTP/1升...
53 | h2:在TLS上从HTTP/1升级...
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的...
57 | HPACK如何减少HTTP头部的...
58 | HPACK中如何使用Huffman树...
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编...
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要 Stream 优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及 HTTP/3...
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1)...
72 | 对称加密的工作原理(2)...
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书...
77 | 非对称密码应用:DH密钥交...
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线...
80 | TLS1.2与TLS1.3 中的EC...
81 | 握手的优化:session缓存...
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流...
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络...
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安...
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收...
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口...
97 | 如何减少小报文提高网络效...
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传...
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞...
103 | Google BBR拥塞控制算法...
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-W...
106 | keepalive 、校验和及带...
107 | 面向字节流的TCP连接如何...
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换...
113 | NAT地址转换与LVS负载均...
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找...
121 | 结束语
本节摘要

补充说明:

如果在 macOS 系统下运行 telnet 命令,会与 Xshell 下略有不同。

先输入:

  telnet www.taohui.pub 80
复制代码

按回车键后会出现:

  Trying 116.62.160.193...
  Connected to www.taohui.pub.
  Escape character is '^]'.
复制代码

然后再输入:

  GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
复制代码

回车后继续输入:

  Host:www.taohui.pub
复制代码

输入完毕后,按两次回车即可。

ABNF(Augmented BNF) 官方文档

https://www.ietf.org/rfc/rfc5234.txt

巴科斯范式的英文缩写为 BNF,它是以美国人巴科斯 (Backus) 和丹麦人诺尔 (Naur) 的名字命名的一种形式化的语法表示方法,用来描述语法的一种形式体系,是一种典型的元语言。又称巴科斯 - 诺尔形式 (Backus-Naur form)。它不仅能严格地表示语法规则,而且所描述的语法是与上下文无关的。它具有语法简单,表示明确,便于语法分析和编译的特点。

课程相关资料下载地址

https://github.com/geektime-geekbang/geektime-webprotocol

Windows 系统 Xshell 软件下载链接

https://www.netsarang.com/zh/xshell/

macOS 系统安装 telnet 的方法

打开终端,先通过以下命令安装 homebrew

  /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
复制代码

安装完 homebrew 之后,运行 brew install telnet

Wireshark 下载地址

https://www.wireshark.org/download.html

推荐书籍

展开
 写留言

精选留言(25)

  • 2019-05-09
    出现以下情况:
    ➜ ~ telnet www.taohui.pub 80
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.
    需要将以下请求地址:
    GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
    复制粘贴(去掉前面的空格)。
    粘贴之后,按Command + Return进行换行(不要直接 Return)
    换行之后粘贴:Host:www.taohui.pub(去掉前面的空格)。
    然后再添加Command + Ruturn 两次就能得到对应的结果了。

    总结:
    文中说的换行指的是 Command + Return 而不是直接Return。
    直接复制粘贴的文本:GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1 前面包含空格,需要去掉空格再粘贴。
    展开

    作者回复: 用MAC的同学可以参考雷锋兄的分享哈:-)

    2
    20
  • 2019-05-08
    老师 好奇怪啊 我是mac 系统 为啥我用telnet GET以后返回了400

    telnet www.taohui.pub 80
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.
      GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
    HTTP/1.1 400 Bad Request
    Server: openresty/1.13.6.2
    Date: Wed, 08 May 2019 09:21:55 GMT
    Content-Type: text/html
    Content-Length: 179
    Connection: close
    展开

    作者回复: 这是因为你需要在请求行下输入:
    Host: www.taohui.pub
    RFC规定,如果请求中没有携带Host头部,一律返回400 Bad Request,目前基本Web服务器都遵循这一规则

    3
  • 2019-05-07
    ABNF 就像学习新语言,新协议的地图一样。从了解 ABNF 开始学习一种新的协议,确实有用。

    作者回复: 是的,中间件、容器都是照着ABNF对协议的定义来实现功能的

    3
  • telnet可以理解为类似于浏览器功能,然后连接到server,然后发送http协议给server,server也是要解析http发过去的header头信息以返回客户端想要的内容,流程是酱紫么

    作者回复: 是的,telnet只是建立了TCP连接

    3
  • 2019-05-06
    $ telnet www.taohui.pub 80
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.
    我出现这样的情况了

    作者回复: 这是正常的,继续敲HTTP请求行GET / HTTP/1.1...就可以了

    2
  • 2019-05-05
    和正则很像
    2
  • 2019-06-04
    请问80是指 客户端用80端口访问和接受信息呢

    作者回复: 不是,是指服务器端提供80端口,客户端向服务器80端口建立连接,而客户端本地端口由操作系统随机生成,之后在这条连接上收发消息

    1
  • 2019-05-21
    Mac系统使用 zsh 时,不用 command + enter ,直接回车就行。
    具体操作步骤:
    第一步:命令行输入 telnet www.taohui.pub 80 , 回车,结果显示如下
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.

    第二步:在上面的结果下输入 请求地址并回车,示例如下
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.
    GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1

    第三步:在上面的结果下输入 Host:www.taohui.pub ,两次回车
    telnet www.taohui.pub 80
    Trying 116.62.160.193...
    Connected to www.taohui.pub.
    Escape character is '^]'.
    GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
    Host:www.taohui.pub

    展开

    作者回复: 非常详尽,谢谢分享!

    1
  • 2019-05-11
    在xshell6中还没有来得及全部输完那句GET /wp-content/plugins/...,软件就自动connection closing...Socket了,想问问老师是什么原因啊?

    作者回复: 因为服务器有设超时时间,通常如果1分钟内还没有接收到完整的HTTP请求(主要指请求行和头部),服务器会关连接

    1
  • 2019-05-08
    请问一下老师我是在docker的linux容器中发起请求的, 但是在wireshark所有网卡中中没又看到这个容器的IP和mac地址, 也抓不到容器的包, 请问一下老师这个是什么原因, 有什么办法能抓到容器的包呢?

    作者回复: 1、容器肯定需要从你的网卡出流量的,所以可能只是更换了IP,你可以用端口等捕获过滤器来抓包,目前端口是不会变的,用http.request.host等显示过滤器来找报文。
    2、还是要在wireshark上,找到出流量的那个网卡,在那个接口上抓包。

    1
  • 2019-07-25
    ABNF 是不是可以理解为一种 DSL 😄
  • 2019-06-27
    我的抓包中出现的请求有两个 GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1
    一个是HTTP
    但另外一个是TCP 协议的。这是什么原因呢。

    作者回复: HTTP协议也是一种TCP协议。所以没有明白你的问题。
    BTW:你是用wireshark抓包吗?wireshark上显示为tcp协议通常是因为不知道怎么解析到具体的应用层协议,如果知道是什么协议可以右键点击decode as选择一个协议就可以显示

  • 2019-06-22
    感觉课程非常好

    作者回复: 谢谢

  • 2019-06-10
    您好 感谢您上条的耐心回答,我还有一个问题
    1.请问80端口和443端口是不是就是服务器接受客户端http和https协议的专门端口呢?
    2.另外这个端口是不是只能对应一个进程或线程呢?
    3.网上说的黑客端口扫描工具 可以扫描出服务器的这些端口吗不限于80 443?如果可以的话,是否能扫描到一些内部端口比如mysql数据库的呢

    作者回复: 1、只是默认端口,可以更改的。
    2、不是,可以对应多个进程,可以参见我的《Nginx核心知识100讲》里的Nginx架构课程。
    3、可以,mysql通常会开3306端口,因此如果你购买云服务器,3306等端口默认都是被防火墙关闭的

  • 2019-05-30
    第一次听说ABNF,长知识
  • 2019-05-23
    macOS command+return 会放大缩小界面。。
    1
  • 2019-05-17
    老师你好,我使用xshell6输入GET /wp-content/plugins/Pure-Highlightjs_1.0/assets/pure-highlight.css?ver=0.1.0 HTTP/1.1 按下回车后就出现
    XsheConnection closing...Socket close.
    Connection closed by foreign host.
    Disconnected from remote host(www.taohui.pub:80) at 16:06:55.
    无法接着输入Host:www.taohui.pub
    这是什么原因呢?
    展开

    作者回复: 这是我的服务器配置错误了,今天下午我在www.taohui.pub上的Nginx上配置http2,80端口服务没配置好,现在已经改好了,你再试试看

  • 2019-05-11
    感觉ABNF的RFC编号有点大,之前的RFC使用的都是这个规范吗?
    刚注意到在RFC2616里有一个小节在介绍ABNF( 2.1 Augmented BNF )

    作者回复: 都是这个系列的规范

  • 2019-05-11
    很高兴能听到阿里云前辈的课程,老师我在mac 上使用wire shark 设置捕获时遇到一个问题, 在给‘所选择接口的捕获过滤器’的输入框输入 ‘80’时,对应的输入框颜色变红, 在弹窗底部的‘开始’按钮也置为灰色,导致不能进行过滤80端口进行捕获

    作者回复: 捕获语法不对,应该输入port 80才行。第2部分第1课会详细介绍BPF捕获语法。

  • 2019-05-07
    老师请问一下我在win10下xshell6.0版本
    [D:\~]$ telnet www.taohui.pub 80


    Host 'www.taohui.pub' resolved to 116.62.160.193.
    Connecting to 116.62.160.193:80...
    Connection established.
    To escape to local shell, press 'Ctrl+Alt+]'.

    输入回车后没有反应, 是不是请求行 Get 跟header Host这个也必须要输入才行?
    展开

    作者回复: 是的,现在只是建立起了TCP连接,必须向服务器发送HTTP请求,才能得到HTTP响应