- 高清
- 标清
- 普清
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.5x
Web协议详解与抓包实战
你好，我是陶辉。现在是杭州智链达数据有限公司的 CTO 及联合创始人，我曾经在阿里巴巴、华为、腾讯、思科等公司从事服务器端的研发工作。
在华为我负责 iMAP 网管系统的研发，在通过 SNMP 等协议管理众多网络设备的过程中，我对路由器交换机如何处理协议栈、选择路由、转发报文等流程有了深入的理解。
在腾讯 QQ 空间部门，我们使用自定义的、基于 TCP 的 Qzone 协议传递巨量的数据，使我对如何设计出高性能、可扩展的应用协议有了丰富的实践经验。
在思科我从事 Nginx 服务的研发，重构了 DMS 文档下载系统，大幅提升了高并发下的吞吐量，通过这个项目使我对 Web 服务器如何高效地处理 HTTP 协议有了全面的认识。
在阿里云我作为 VPC 软件自定义网络项目中的管理系统架构师，通过基于 Intel DPDK 自建网关、自定义网络层协议等工作使我对 IDC 内部网络系统有了深刻了解。
这些实践经验让我认识到了 RFC 规范与各种程序实现间的差异，使我从应用层到底层协议、从服务器到网络设备到浏览器都有非常系统的了解，也使我对 Web 协议有了更加深入的认识。
技术人为什么要学习 Web 协议？
下面我出几道题来考考你：
- 当我们使用浏览器访问网页时，URI 中对某些字符有时使用百分号编码，有时却不使用，哪种方式更适合？
- 如何识别出哪些响应来自缓存？哪些 HTTP 头部决定响应可以被浏览器缓存？
- 当我们做前端开发时，如果需要跨域，怎样才能不违背 Web 架构下的安全策略？
- 当我们接收到各种 HTTP 4xx 或者 5xx 错误响应码时，它们意味着发生了什么事？应该怎样跟踪用户的行为？
- 当我们在做 SSL 性能优化时，为什么重点在 Session 缓存或者 Ticket 票据？
- 当我们定位程序问题时，若在 TCP 连接中出现 time_wait、close_wait、fin_wait 等状态，都是什么原因导致的？
- 当我们做架构选型时，HTTP/2.0 对性能的提升包括哪些方面？伴随 5G 广泛使用的 IPv6 协议，到底与 IPv4 有何不同？
要回答以上问题，都需要我们对 Web 协议进行深入、系统地学习，当我们熟练掌握各种 Web 协议后，才能在工作中轻松地应对这些场景。
Web 协议有哪些关键知识点，怎样学习最高效？
Web 协议栈的重点组成部分包括 HTTP、TLS/SSL、TCP 以及 IP，我们应先从应用层协议，也就是 HTTP 学起，然后自上而下逐渐深入到底层协议，虽然这与这些协议的发明顺序不同，但因为我们带着应用中的具体问题去学习底层协议，就会更有针对性。
学习 HTTP 协议时，要从简单、易入门的浏览器抓包开始，通过抓包来深入到协议的各个细节，将业务代码、Web 中间件与协议本身结合起来，触类旁通，以此在我们的知识体系中建立起结构化的内容。
HTTP 协议中规范众多，也有很多不同种类的服务器、客户端实现，这些实现与规范并不完全一致，理解这种不一致就需要我们对 REST 架构有一定了解，对 Web 体系世界要解决的整体问题有一个清晰的思路，清楚在历史发展中实现会反过来推动协议规范的制订，这样才能更高效地看清楚 HTTP 协议。
学习 TLS/SSL 协议时，需要先掌握 Wireshark 这个强大的抓包工具，在实践中体验非对称加密的流程，这样更易理解当下网络安全体系的构建。
学习 TCP/IP 协议时，由于协议中字段更为抽象，为了能够更好地理解，应从客户端、代理服务器、源服务器上分别抓包，此时需要学习 tcpdump 抓包工具，配合 Wireshark 使用达到对比验证的目的。
所以，虽然 Web 协议的体系庞大，知识点非常零散，但沿着设计脉络，在场景中用抓包工具实战分析，便可以快速掌握核心知识。
这门课适合哪些人学习，学完后能达到什么样的水平？
这门课适合前端开发工程师、后端开发工程师、运维工程师、测试工程师、架构师学习。
对于前端工程师，学完后可以快速定位问题归属于后端还是前端，对于网络交互方式的优化会有更多的思路，也对服务器的输入输出有基本的认识。
对于后端工程师，学完后可以更清晰地理解 Web 容器的工作原理，更好地理解 API 引发的前端问题，可以在网络层面快速定位到出现问题的组件，缩小问题范围。
对于运维工程师，学完后可以更明确地规划硬件及网络资源，对于问题服务的定位和恢复也会有更系统的解决方案。
对于测试工程师，学完后可以对压测工具的原理有更深入的理解，对基于协议的容错测试用例的构造也会更加系统。
对于架构师，学完后有助于从协议层面加强分布式系统的高可用，对于系统的性能优化也会以网络为主线构建系统化的思维。
总之，作为一个每天都在和网络打交道的技术人员，深入理解各种常见的 Web 协议并熟练加以运用，是你必须具备的基本功。
我是陶辉，我在极客时间等你。
课程相关资料下载地址
https://github.com/geektime-geekbang/geektime-webprotocol
推荐书籍
精选留言(25)
2019-05-05短信推送课程上新，一看是协议栈相关的，想着估计要买了看下，打开APP一看是陶辉老师讲的，毫不犹豫，直接购买。作者回复: 谢谢你的信任:-)
希望这门课能帮你建立系统化的知识体系！ 8
2019-05-06从陶辉老师的ngx课程中收获特别多, 看到这门课程就果断出手~~作者回复: 谢谢，希望可以对你学习网络协议有帮助！
4
2019-05-05陶辉老师，你好。我想问下作为一名 iOS 开发，学习这门课程有用吗？作者回复: 有用，iOS APP是严重依赖网络的软件，无论框架帮你封了多少层API，都需要你理解这些API到底在做什么，这样做性能优化、定位网络难题、甚至框架升级后自身出问题了，你才有解决思路。
我们公司的iOS开发同事就遇到过不能跨域访问的问题，这门课程有介绍。 4- 2019-05-05买了陶辉老师nginx的课程，感觉非常赞，继续过来支持一下，希望继续出更多的精品课程！
作者回复: 谢谢支持，这门课目的是建立起系统化的web协议知识！个人认为，学习任何知识一定要体系化，在思维中建立起结构化的树状认知，这门课的制作思路也是这样的:-)
2 
2019-05-05对于一个优秀的前端工程师来说，网络这方面是绝对要学好的，学的越深越能体会互联网的伟大，果断学习！！！作者回复: 赞！我面试前端程序员时，常感叹前端没有意愿去学习偏底层的网络知识，其实很有用的。
2
2019-05-05课程介绍不错，对网络理解应该能够更深一步。作者回复: ：-）
1
2019-10-31急需要了解这套理论体系！
2019-10-19陶老师好，我之前没有做过网络开发的工作，只在学校里学过一些计算机网络，但是忘记了很多，现在拿到一个工作机会转到云平台网络下的软件负载均衡组，请问要做哪些准备，学习哪些可以帮助我？可否给一个建议的学习路径？作者回复: 1、抓包工具要掌握，wireshark、tcpdump等；
2、http协议要熟练，要达到可以用telnet手写HTTP请求的目标；这门课的第1部分是基础。
3、理解access.log是理解web服务器在做什么的简单方法；
4、你应该是要负责Nginx或者Openresty吧？结合《Nginx核心知识100讲》顺序学习。第5部分结合Linux操作系统理解它们的用法比较好。
5、深入负载均衡后，再结合这门课的第4、5、6部分学习底层协议。
2019-10-18老师您好，看完了您的Nginx课程，我又到了您的这门课来了。课程干货很多，谢谢！希望以后有更多干货技术，良心导师!作者回复: 谢谢，很高兴能帮到你！
2019-08-19牛
2019-07-13难道我眼花了，之前看到有tcpdum抓包工具抓包的，现在想看看却找不到了作者回复: tcpdump工具介绍在第五部分课程里
2019-07-07学完了陶辉老师的 NGINX 课程 收获满满。对我们的 网关（基于Openresty的）做了系统优化
陶老师的新课程果断支持 学习一下作者回复: 谢谢信任：-）
2019-06-04初次听陶老师讲课，仅是听了课程介绍这节，真诚的说一句：讲的真赞！作者回复: 谢谢
- 2019-05-17老大 DBA和nginx哪个前景更好 至前一直做的软件、少量DBA和中间件应用 现在准备做减法 只定一个方向 该怎么选
作者回复: 我认为没有必要在二者中只选一个方向，这二者都是运维，nginx偏网络协议，DBA更看重SQL及数据库优化，两者对linux内核理解都有要求
2019-05-16老师，您好，我是刚才请教问题的小小，可以确定不是应用B返回的，返回的不是HTTP状态码，代码也没有问题，因为线下在开发，测试，灰度环境测试都没问题。现在怀疑是网络问题，但不知道卡在哪里了。作者回复: 抓包看下HTTP框架究竟发到哪里去了，先从A容器上开始抓
- 2019-05-15老师，您好，请教个问题，今天遇到个生产问题:web应用A(docker应用)通过okhttp(2.1.0版本)框架请求Web应用B(docker应用)接口http://xxx.yyy.com/abc，有响应返回是乱码，但应用B并没有收到A的请求(通过tomcat的local_access日志)，但通过curl 命令在A应用容器内请求，可以正常请求，同一套代码，线下正常。后来运维改为http://zzz:8080/abc的方式临时解决了问题，能指导下问题的原因吗？谢谢！备注:http://xxx.yyy.com/abc是外网域名，http://zzz:8080/abc中zzz是docker容器名称展开
作者回复: 1、“有响应返回是乱码”，是HTTP响应吗？响应码是多少？curl -I可以查看HTTP头部。如果是错误码，请先看下第14课；
2、接着，需要看下，响应如果不是B发出的，到底是谁发出的？请查看HTTP响应的头部信息。
3、如果响应头部也看不到，那就从IP推断吧，可以用tcpdump抓包，第5部分课程会介绍BPF语法。
４、照你所说，在dockerA内的命令行可以访问B，而dockerA内的okhttp就访问不了，很可能是okhttp配置有问题。 
2019-05-09Nginx的还没看完，老师又开了一门十分令人心动的课，必须买，慢慢看。作者回复: 坚持下来，一定会收获满满：-）
2019-05-08从曹大那看到内容介绍就直接买了，看评论说ngx课程也挺好的，有链接吗？编辑回复: https://time.geekbang.org/course/intro/138
- 2019-05-07希望通过该课程，能收获满满。学懂网络协议，抓包工具的使用，在以后工作中更容易解决问题。
作者回复: 坚持下来，一定可以！
2019-05-06这门课需要什么样的基础比较好作者回复: 这门课的前置条件很少，只需要做过与开发相关的、与网络相关的工作即可