你好,我是陶辉。现在是杭州智链达数据有限公司的 CTO 及联合创始人,我曾经在阿里巴巴、华为、腾讯、思科等公司从事服务器端的研发工作。
在华为我负责 iMAP 网管系统的研发,在通过 SNMP 等协议管理众多网络设备的过程中,我对路由器交换机如何处理协议栈、选择路由、转发报文等流程有了深入的理解。
在腾讯 QQ 空间部门,我们使用自定义的、基于 TCP 的 Qzone 协议传递巨量的数据,使我对如何设计出高性能、可扩展的应用协议有了丰富的实践经验。
在思科我从事 Nginx 服务的研发,重构了 DMS 文档下载系统,大幅提升了高并发下的吞吐量,通过这个项目使我对 Web 服务器如何高效地处理 HTTP 协议有了全面的认识。
在阿里云我作为 VPC 软件自定义网络项目中的管理系统架构师,通过基于 Intel DPDK 自建网关、自定义网络层协议等工作使我对 IDC 内部网络系统有了深刻了解。
这些实践经验让我认识到了 RFC 规范与各种程序实现间的差异,使我从应用层到底层协议、从服务器到网络设备到浏览器都有非常系统的了解,也使我对 Web 协议有了更加深入的认识。
下面我出几道题来考考你:
要回答以上问题,都需要我们对 Web 协议进行深入、系统地学习,当我们熟练掌握各种 Web 协议后,才能在工作中轻松地应对这些场景。
Web 协议栈的重点组成部分包括 HTTP、TLS/SSL、TCP 以及 IP,我们应先从应用层协议,也就是 HTTP 学起,然后自上而下逐渐深入到底层协议,虽然这与这些协议的发明顺序不同,但因为我们带着应用中的具体问题去学习底层协议,就会更有针对性。
学习 HTTP 协议时,要从简单、易入门的浏览器抓包开始,通过抓包来深入到协议的各个细节,将业务代码、Web 中间件与协议本身结合起来,触类旁通,以此在我们的知识体系中建立起结构化的内容。
HTTP 协议中规范众多,也有很多不同种类的服务器、客户端实现,这些实现与规范并不完全一致,理解这种不一致就需要我们对 REST 架构有一定了解,对 Web 体系世界要解决的整体问题有一个清晰的思路,清楚在历史发展中实现会反过来推动协议规范的制订,这样才能更高效地看清楚 HTTP 协议。
学习 TLS/SSL 协议时,需要先掌握 Wireshark 这个强大的抓包工具,在实践中体验非对称加密的流程,这样更易理解当下网络安全体系的构建。
学习 TCP/IP 协议时,由于协议中字段更为抽象,为了能够更好地理解,应从客户端、代理服务器、源服务器上分别抓包,此时需要学习 tcpdump 抓包工具,配合 Wireshark 使用达到对比验证的目的。
所以,虽然 Web 协议的体系庞大,知识点非常零散,但沿着设计脉络,在场景中用抓包工具实战分析,便可以快速掌握核心知识。
这门课适合前端开发工程师、后端开发工程师、运维工程师、测试工程师、架构师学习。
对于前端工程师,学完后可以快速定位问题归属于后端还是前端,对于网络交互方式的优化会有更多的思路,也对服务器的输入输出有基本的认识。
对于后端工程师,学完后可以更清晰地理解 Web 容器的工作原理,更好地理解 API 引发的前端问题,可以在网络层面快速定位到出现问题的组件,缩小问题范围。
对于运维工程师,学完后可以更明确地规划硬件及网络资源,对于问题服务的定位和恢复也会有更系统的解决方案。
对于测试工程师,学完后可以对压测工具的原理有更深入的理解,对基于协议的容错测试用例的构造也会更加系统。
对于架构师,学完后有助于从协议层面加强分布式系统的高可用,对于系统的性能优化也会以网络为主线构建系统化的思维。
总之,作为一个每天都在和网络打交道的技术人员,深入理解各种常见的 Web 协议并熟练加以运用,是你必须具备的基本功。
我是陶辉,我在极客时间等你。
https://github.com/geektime-geekbang/geektime-webprotocol
作者回复: 开始规划时没那么多章节,结果课程制作过程中,发现想把一些知识点彻底讲清楚,必须引入更多内容,结果超时啦^_^
作者回复: 谢谢你的信任:-) 希望这门课能帮你建立系统化的知识体系!
作者回复: 1、抓包工具要掌握,wireshark、tcpdump等; 2、http协议要熟练,要达到可以用telnet手写HTTP请求的目标;这门课的第1部分是基础。 3、理解access.log是理解web服务器在做什么的简单方法; 4、你应该是要负责Nginx或者Openresty吧?结合《Nginx核心知识100讲》顺序学习。第5部分结合Linux操作系统理解它们的用法比较好。 5、深入负载均衡后,再结合这门课的第4、5、6部分学习底层协议。
作者回复: 赞!我面试前端程序员时,常感叹前端没有意愿去学习偏底层的网络知识,其实很有用的。
作者回复: 有用,iOS APP是严重依赖网络的软件,无论框架帮你封了多少层API,都需要你理解这些API到底在做什么,这样做性能优化、定位网络难题、甚至框架升级后自身出问题了,你才有解决思路。 我们公司的iOS开发同事就遇到过不能跨域访问的问题,这门课程有介绍。
作者回复: 谢谢,希望可以对你学习网络协议有帮助!
作者回复: 谢谢支持,这门课目的是建立起系统化的web协议知识!个人认为,学习任何知识一定要体系化,在思维中建立起结构化的树状认知,这门课的制作思路也是这样的:-)
作者回复: :-)
作者回复: ^_^提升底层能力!
作者回复: ^_^