Web 协议详解与抓包实战
陶辉
智链达 CTO,前阿里云高级技术专家
43211 人已学习
新⼈⾸单¥68
课程目录
已完结/共 121 讲
第一章:HTTP/1.1协议 (38讲)
时长 05:53
时长 06:57
Web 协议详解与抓包实战
登录|注册
留言
14
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 03 | 浏览器发起HTTP请求的典型场景
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 浏览器发起HTTP请求的典型场景
04 | 基于ABNF语义定义的HTTP消息格式
05 | 网络为什么要分层:OSI模型与TCP/IP模型
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属性
08 | 从五种架构风格推导出HTTP的REST架构
09 | 如何用Chrome的Network面板分析HTTP报文
10 | URI的基本格式以及与URL的区别
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长短连接?
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相关头部
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1):定长包体
21 | HTTP包体的传输方式(2):不定长包体
22 | HTML form表单提交时的协议格式
23 | 断点续传与多线程下载是如何做到的?
24 | Cookie的格式与约束
25 | Session及第三方Cookie的工作原理
26 | 浏览器为什么要有同源策略?
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限制的网络
35 | 网络爬虫的工作原理与应对方式
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名?
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSocket
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染攻击
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问题
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS/SSL报文?
52 | h2c:在TCP上从HTTP/1升级到HTTP/2
53 | h2:在TLS上从HTTP/1升级到HTTP/2
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的子类型
57 | HPACK如何减少HTTP头部的大小?
58 | HPACK中如何使用Huffman树编码?
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编码格式
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要Stream优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及HTTP/3的意义
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1):XOR与填充
72 | 对称加密的工作原理(2):工作模式
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书体系
77 | 非对称密码应用:DH密钥交换协议
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线的ECDH协议
80 | TLS1.2与TLS1.3 中的ECDH协议
81 | 握手的优化:session缓存、ticket票据及TLS1.3的0-RTT
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流程
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络报文
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安全问题
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收窗口
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口的关系
97 | 如何减少小报文提高网络效率
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传与快速恢复
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞控制算法
103 | Google BBR拥塞控制算法原理
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-WAIT状态
106 | keepalive 、校验和及带外数据
107 | 面向字节流的TCP连接如何多路复用
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换:ARP与RARP协议
113 | NAT地址转换与LVS负载均衡
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找规律
121 | 结课测试&结束语
本节摘要

HTTP 协议定义

a stateless application-level request/response protocol that uses extensible semantics and self-descriptive message payloads for flexible interaction with network-based hypertext information system.

一种无状态的、应用层的、以请求 / 应答方式运行的协议,它使用可扩展的语义和自描述消息格式,与基于网络的超文本信息系统灵活地互动。

参考链接:https://tools.ietf.org/html/rfc7230

课程相关资料下载地址

https://gitee.com/geektime-geekbang/geektime-webprotocol

推荐书籍

登录 后留言

全部留言(14)

  • 最新
  • 精选
码农Kevin亮
请教老师,HTTP定义中提到的可扩展语义是指什么?可否举例说明

作者回复: 例如,最初一个HTTP包体只能是一种资源类型,在HTTP头部中有Content-Type表示。后来表单提交时,既有按钮、文本、下拉框也有文件、图片这样的二进制文件,于是把Content-type扩展为:multipart/form-data; boundary=----,而HTTP包体则可以由多个资源以boundary拼接而成。这就是一种可扩展的语义。

2019-05-06
15
       鸟人
“浏览器发起http请求”为什么这么讲呢? 不应该是浏览器调用操作系统指令发起请求么?

作者回复: 操作系统只实现TCP层,浏览器只能使用系统调用建立TCP连接,而构造HTTP请求是浏览器的事,何时发起请求也是浏览器的事

2019-05-25
2
13
kissingers
会介绍下QUIC 吗

作者回复: 目前课程规划中是没有的。如果课程录制时间没有大量超出(Nginx课程就严重超时了),且大家都比较想了解QUIC协议,可以考虑在第5部分课程里插入介绍下

2019-05-07
2
11
NEVER SETTLE
老师,我一直搞不清什么时候静态资源和动态资源,静态资源是不是就是存放在服务端真实的文件?动态资源是不是就是,当客户端请求服务端之后,服务端经过一些获取数据、逻辑计算等操作,最后按照约定的api返回给客户端的json或protobuf等信息。 第二个问题是和概念相关的,通常说的web是不是就是web服务器?web和http有什么联系?感觉自己晕晕的,老是搞不明白。

作者回复: 1、静态资源是指不同用户、一段时间内访问同一个URL,结果完全相同;动态资源指不同用户、不同时间的URL返回内容不同。 2、web是个概念,它最初描述人如何浏览互联网,它包含http。http只是一个应用层协议,而web包括很多协议以及其他规范,也包括服务器。

2019-06-02
4
有点意思
陶辉老师好: 请问在实际环境中,同一个session里面,http传输必然是一问一答么 会不会出现这种情况 就是在同一个sesssion里面,多次请求后,第一次请求的响应才能收到 另外某种协议一次请求后是另外一个请求呢?还是本次请求的应答?这个是由什么决定的

作者回复: 1、对,http/1.1协议一定是request/response模式,同一个连接(session也可以)下一定是第一个响应收到后,才能发第二个请求。 2、如果协议支持多路复用,那么需要在每个请求和响应上有一个id字段,以使得客户端或者服务器能够对得上某请求的响应,你可以关注第2部分以后的课程,都有这个特性。

2019-05-10
3
guanweiliang
请教下老师 三次握手是每次http请求都会执行吗?比如我点击页面中的超链接这个时候也会执行三次握手吗?

作者回复: 不一定,如果是keepalive长连接(详见第15课)会复用TCP连接。另外,即使服务器明确可以使用长连接,浏览器也有可能新开一个TCP连接以增加传输效率,不同的浏览器及版本都不一样,目前版本的Chrome大概会最多开6个连接,故点击超链接是否握手也与浏览器策略有关

2019-05-15
2
有点意思
老师,你好 请教个问题,在分析实际生产环境中抓的包的过程中,遇到了一个问题,想不通,报文内容如下: 54 37.286904 10.36.65.21 10.65.1.151 HTTP 388 GET /_aliases HTTP/1.1 Transmission Control Protocol, Src Port: 47548, Dst Port: 9222, Seq: 1, Ack: 1, Len: 318 Source Port: 47548 Destination Port: 9222 [Stream index: 1] [TCP Segment Len: 318] Sequence number: 1 (relative sequence number) [Next sequence number: 319 (relative sequence number)] Acknowledgment number: 1 (relative ack number) 1000 .... = Header Length: 32 bytes (8) Flags: 0x018 (PSH, ACK) Window size value: 258 [Calculated window size: 258] [Window size scaling factor: -1 (unknown)] Checksum: 0x7872 [unverified] [Checksum Status: Unverified] Urgent pointer: 0 Options: (12 bytes), No-Operation (NOP), No-Operation (NOP), Timestamps [SEQ/ACK analysis] [Timestamps] TCP payload (318 bytes) Hypertext Transfer Protocol GET /_aliases HTTP/1.1\r\n Host: 10.65.1.151:9222\r\n Connection: keep-alive\r\n Accept: application/json, text/javascript, */*; q=0.01\r\n User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36\r\n Accept-Encoding: gzip, deflate\r\n Accept-Language: zh-CN,zh;q=0.9\r\n \r\n [Full request URI: http://10.65.1.151:9222/_aliases] [HTTP request 1/9] [Response in frame: 55] [Next request in frame: 176] 上面tcp报文的seq=1,应该是客户端和服务端的第一次握手,但是怎么可以携带http数据呢,这点真有点想不通,按道理三次握手中,最起码前两次握手不能携带应用层数据吧

作者回复: tcp fastopen下可以的。第5部分课程会介绍到

2019-05-12
2
pyhhou
老师,很高兴在极客时间再次学习你的课程。这里想问一个问题,就是渲染引擎调用网络、JS解释器以及UI后端模块,这三个模块之间有运行的先后次序吗?还是说它们是穿插进行的?另外我看到图中用户界面也会请求UI后端,这里指的是用户在页面上的操作会触发 UI后端模块的响应?谢谢老师

作者回复: 1、表面上看是穿插进行的,但实际是有先后顺序的: 某一个请求,一定是由于“上游”请求引发的。即“上游”请求的响应接收到,并且被解析后,才发起该请求。请参见第9课在Network面板中验证。 某一个请求来源是哪,例如javascript文件还是HTML超链接亦或是浏览器地址栏,都可以在Network面板中看到。 2、这里其实是指,把渲染结果展示给用户看。

2019-05-08
2
彭刚
4月份就看到预售课程里有这门课了,特别期待,出来看到立马买了,里面内容真的跟感兴趣也很有用

作者回复: 希望能帮到你:-)

2019-05-05
1
小乖乖
赞👍

作者回复: ^_^

2021-04-23
收起评论