Web 协议详解与抓包实战
陶辉
智链达 CTO,前阿里云高级技术专家
43211 人已学习
新⼈⾸单¥68
课程目录
已完结/共 121 讲
第一章:HTTP/1.1协议 (38讲)
时长 05:53
时长 06:57
Web 协议详解与抓包实战
登录|注册
留言
43
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 01 | 课程介绍
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 浏览器发起HTTP请求的典型场景
04 | 基于ABNF语义定义的HTTP消息格式
05 | 网络为什么要分层:OSI模型与TCP/IP模型
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属性
08 | 从五种架构风格推导出HTTP的REST架构
09 | 如何用Chrome的Network面板分析HTTP报文
10 | URI的基本格式以及与URL的区别
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长短连接?
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相关头部
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1):定长包体
21 | HTTP包体的传输方式(2):不定长包体
22 | HTML form表单提交时的协议格式
23 | 断点续传与多线程下载是如何做到的?
24 | Cookie的格式与约束
25 | Session及第三方Cookie的工作原理
26 | 浏览器为什么要有同源策略?
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限制的网络
35 | 网络爬虫的工作原理与应对方式
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名?
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSocket
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染攻击
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问题
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS/SSL报文?
52 | h2c:在TCP上从HTTP/1升级到HTTP/2
53 | h2:在TLS上从HTTP/1升级到HTTP/2
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的子类型
57 | HPACK如何减少HTTP头部的大小?
58 | HPACK中如何使用Huffman树编码?
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编码格式
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要Stream优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及HTTP/3的意义
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1):XOR与填充
72 | 对称加密的工作原理(2):工作模式
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书体系
77 | 非对称密码应用:DH密钥交换协议
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线的ECDH协议
80 | TLS1.2与TLS1.3 中的ECDH协议
81 | 握手的优化:session缓存、ticket票据及TLS1.3的0-RTT
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流程
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络报文
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安全问题
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收窗口
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口的关系
97 | 如何减少小报文提高网络效率
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传与快速恢复
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞控制算法
103 | Google BBR拥塞控制算法原理
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-WAIT状态
106 | keepalive 、校验和及带外数据
107 | 面向字节流的TCP连接如何多路复用
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换:ARP与RARP协议
113 | NAT地址转换与LVS负载均衡
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找规律
121 | 结课测试&结束语
本节摘要

你好,我是陶辉。现在是杭州智链达数据有限公司的 CTO 及联合创始人,我曾经在阿里巴巴、华为、腾讯、思科等公司从事服务器端的研发工作。

在华为我负责 iMAP 网管系统的研发,在通过 SNMP 等协议管理众多网络设备的过程中,我对路由器交换机如何处理协议栈、选择路由、转发报文等流程有了深入的理解。

在腾讯 QQ 空间部门,我们使用自定义的、基于 TCP 的 Qzone 协议传递巨量的数据,使我对如何设计出高性能、可扩展的应用协议有了丰富的实践经验。

在思科我从事 Nginx 服务的研发,重构了 DMS 文档下载系统,大幅提升了高并发下的吞吐量,通过这个项目使我对 Web 服务器如何高效地处理 HTTP 协议有了全面的认识。

在阿里云我作为 VPC 软件自定义网络项目中的管理系统架构师,通过基于 Intel DPDK 自建网关、自定义网络层协议等工作使我对 IDC 内部网络系统有了深刻了解。

这些实践经验让我认识到了 RFC 规范与各种程序实现间的差异,使我从应用层到底层协议、从服务器到网络设备到浏览器都有非常系统的了解,也使我对 Web 协议有了更加深入的认识。

技术人为什么要学习 Web 协议?

下面我出几道题来考考你:

  • 当我们使用浏览器访问网页时,URI 中对某些字符有时使用百分号编码,有时却不使用,哪种方式更适合?
  • 如何识别出哪些响应来自缓存?哪些 HTTP 头部决定响应可以被浏览器缓存?
  • 当我们做前端开发时,如果需要跨域,怎样才能不违背 Web 架构下的安全策略?
  • 当我们接收到各种 HTTP 4xx 或者 5xx 错误响应码时,它们意味着发生了什么事?应该怎样跟踪用户的行为?
  • 当我们在做 SSL 性能优化时,为什么重点在 Session 缓存或者 Ticket 票据?
  • 当我们定位程序问题时,若在 TCP 连接中出现 time_wait、close_wait、fin_wait 等状态,都是什么原因导致的?
  • 当我们做架构选型时,HTTP/2.0 对性能的提升包括哪些方面?伴随 5G 广泛使用的 IPv6 协议,到底与 IPv4 有何不同?

要回答以上问题,都需要我们对 Web 协议进行深入、系统地学习,当我们熟练掌握各种 Web 协议后,才能在工作中轻松地应对这些场景。

Web 协议有哪些关键知识点,怎样学习最高效?

Web 协议栈的重点组成部分包括 HTTP、TLS/SSL、TCP 以及 IP,我们应先从应用层协议,也就是 HTTP 学起,然后自上而下逐渐深入到底层协议,虽然这与这些协议的发明顺序不同,但因为我们带着应用中的具体问题去学习底层协议,就会更有针对性。

学习 HTTP 协议时,要从简单、易入门的浏览器抓包开始,通过抓包来深入到协议的各个细节,将业务代码、Web 中间件与协议本身结合起来,触类旁通,以此在我们的知识体系中建立起结构化的内容。

HTTP 协议中规范众多,也有很多不同种类的服务器、客户端实现,这些实现与规范并不完全一致,理解这种不一致就需要我们对 REST 架构有一定了解,对 Web 体系世界要解决的整体问题有一个清晰的思路,清楚在历史发展中实现会反过来推动协议规范的制订,这样才能更高效地看清楚 HTTP 协议。

学习 TLS/SSL 协议时,需要先掌握 Wireshark 这个强大的抓包工具,在实践中体验非对称加密的流程,这样更易理解当下网络安全体系的构建。

学习 TCP/IP 协议时,由于协议中字段更为抽象,为了能够更好地理解,应从客户端、代理服务器、源服务器上分别抓包,此时需要学习 tcpdump 抓包工具,配合 Wireshark 使用达到对比验证的目的。

所以,虽然 Web 协议的体系庞大,知识点非常零散,但沿着设计脉络,在场景中用抓包工具实战分析,便可以快速掌握核心知识。

这门课适合哪些人学习,学完后能达到什么样的水平?

这门课适合前端开发工程师、后端开发工程师、运维工程师、测试工程师、架构师学习。

对于前端工程师,学完后可以快速定位问题归属于后端还是前端,对于网络交互方式的优化会有更多的思路,也对服务器的输入输出有基本的认识。

对于后端工程师,学完后可以更清晰地理解 Web 容器的工作原理,更好地理解 API 引发的前端问题,可以在网络层面快速定位到出现问题的组件,缩小问题范围。

对于运维工程师,学完后可以更明确地规划硬件及网络资源,对于问题服务的定位和恢复也会有更系统的解决方案。

对于测试工程师,学完后可以对压测工具的原理有更深入的理解,对基于协议的容错测试用例的构造也会更加系统。

对于架构师,学完后有助于从协议层面加强分布式系统的高可用,对于系统的性能优化也会以网络为主线构建系统化的思维。

总之,作为一个每天都在和网络打交道的技术人员,深入理解各种常见的 Web 协议并熟练加以运用,是你必须具备的基本功。

我是陶辉,我在极客时间等你。

课程相关资料下载地址

https://github.com/geektime-geekbang/geektime-webprotocol

推荐书籍

登录 后留言

全部留言(43)

  • 最新
  • 精选
Q罗
这个课程挺好的,就是太多章节了,哈哈

作者回复: 开始规划时没那么多章节,结果课程制作过程中,发现想把一些知识点彻底讲清楚,必须引入更多内容,结果超时啦^_^

2020-03-18
16
LoveDr.kang
短信推送课程上新,一看是协议栈相关的,想着估计要买了看下,打开APP一看是陶辉老师讲的,毫不犹豫,直接购买。

作者回复: 谢谢你的信任:-) 希望这门课能帮你建立系统化的知识体系!

2019-05-05
16
Coder
陶老师好,我之前没有做过网络开发的工作,只在学校里学过一些计算机网络,但是忘记了很多,现在拿到一个工作机会转到云平台网络下的软件负载均衡组,请问要做哪些准备,学习哪些可以帮助我?可否给一个建议的学习路径?

作者回复: 1、抓包工具要掌握,wireshark、tcpdump等; 2、http协议要熟练,要达到可以用telnet手写HTTP请求的目标;这门课的第1部分是基础。 3、理解access.log是理解web服务器在做什么的简单方法; 4、你应该是要负责Nginx或者Openresty吧?结合《Nginx核心知识100讲》顺序学习。第5部分结合Linux操作系统理解它们的用法比较好。 5、深入负载均衡后,再结合这门课的第4、5、6部分学习底层协议。

2019-10-19
6
学无止境
对于一个优秀的前端工程师来说,网络这方面是绝对要学好的,学的越深越能体会互联网的伟大,果断学习!!!

作者回复: 赞!我面试前端程序员时,常感叹前端没有意愿去学习偏底层的网络知识,其实很有用的。

2019-05-05
6
Ripper
陶辉老师,你好。我想问下作为一名 iOS 开发,学习这门课程有用吗?

作者回复: 有用,iOS APP是严重依赖网络的软件,无论框架帮你封了多少层API,都需要你理解这些API到底在做什么,这样做性能优化、定位网络难题、甚至框架升级后自身出问题了,你才有解决思路。 我们公司的iOS开发同事就遇到过不能跨域访问的问题,这门课程有介绍。

2019-05-05
5
WL
从陶辉老师的ngx课程中收获特别多, 看到这门课程就果断出手~~

作者回复: 谢谢,希望可以对你学习网络协议有帮助!

2019-05-06
4
早起不吃虫
买了陶辉老师nginx的课程,感觉非常赞,继续过来支持一下,希望继续出更多的精品课程!

作者回复: 谢谢支持,这门课目的是建立起系统化的web协议知识!个人认为,学习任何知识一定要体系化,在思维中建立起结构化的树状认知,这门课的制作思路也是这样的:-)

2019-05-05
2
Michael
课程介绍不错,对网络理解应该能够更深一步。

作者回复: :-)

2019-05-05
2
长空
刚开始看到陶辉这个名字的时候,就感觉很耳熟,似乎在哪里看到过。后来看到书架上的《深入理解nginx》这本书,一搜,果然是同一个人。以前在大学时期,我啃烂了《TCP/IP详解:卷一》,书中的大部分习题都做了,需要抓包的时候也动手了。那时Windows平台的抓包软件,还是sniffer pro和wildpackets omnipeek的天下。这门课,我会挤出时间,慢慢听完,加深自己对协议的理解。

作者回复: ^_^提升底层能力!

2021-01-29
1
Q罗
学了好多课了,讲解得好清晰易懂,又不乏深度

作者回复: ^_^

2020-03-24
1
收起评论