Web 协议详解与抓包实战
陶辉
智链达 CTO,前阿里云高级技术专家
43211 人已学习
新⼈⾸单¥68
课程目录
已完结/共 121 讲
第一章:HTTP/1.1协议 (38讲)
时长 05:53
时长 06:57
Web 协议详解与抓包实战
登录|注册
留言
18
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 23 | 断点续传与多线程下载是如何做到的?
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 浏览器发起HTTP请求的典型场景
04 | 基于ABNF语义定义的HTTP消息格式
05 | 网络为什么要分层:OSI模型与TCP/IP模型
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属性
08 | 从五种架构风格推导出HTTP的REST架构
09 | 如何用Chrome的Network面板分析HTTP报文
10 | URI的基本格式以及与URL的区别
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长短连接?
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相关头部
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1):定长包体
21 | HTTP包体的传输方式(2):不定长包体
22 | HTML form表单提交时的协议格式
23 | 断点续传与多线程下载是如何做到的?
24 | Cookie的格式与约束
25 | Session及第三方Cookie的工作原理
26 | 浏览器为什么要有同源策略?
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限制的网络
35 | 网络爬虫的工作原理与应对方式
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名?
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSocket
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染攻击
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问题
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS/SSL报文?
52 | h2c:在TCP上从HTTP/1升级到HTTP/2
53 | h2:在TLS上从HTTP/1升级到HTTP/2
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的子类型
57 | HPACK如何减少HTTP头部的大小?
58 | HPACK中如何使用Huffman树编码?
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编码格式
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要Stream优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及HTTP/3的意义
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1):XOR与填充
72 | 对称加密的工作原理(2):工作模式
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书体系
77 | 非对称密码应用:DH密钥交换协议
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线的ECDH协议
80 | TLS1.2与TLS1.3 中的ECDH协议
81 | 握手的优化:session缓存、ticket票据及TLS1.3的0-RTT
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流程
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络报文
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安全问题
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收窗口
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口的关系
97 | 如何减少小报文提高网络效率
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传与快速恢复
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞控制算法
103 | Google BBR拥塞控制算法原理
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-WAIT状态
106 | keepalive 、校验和及带外数据
107 | 面向字节流的TCP连接如何多路复用
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换:ARP与RARP协议
113 | NAT地址转换与LVS负载均衡
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找规律
121 | 结课测试&结束语
本节摘要
登录 后留言

全部留言(18)

  • 最新
  • 精选
Range: bytes=-4 这个指后面的4个字节不应该是 wxyz 吗? 这里是 xyx 是因为后面有个 \r\n 换行符吗?

作者回复: 是的

2019-05-30
3
5
弥勒秋实
牛掰哦,http还可以当ftp玩,还能断点续传,多线程,但是怎么让http服务器支持range头部呢?

作者回复: 每个http服务器都有相关配置的

2019-06-27
3
Young
老师,这节课介绍的是通过Http的Range进行下载,那如果是通过Range进行上传呢,我之前使用过nginx的断点续传插件nginx-upload-module,它单片上传成功是201,上传文件的大小取第一片Range头中的大小,所有片上传完后由nginx后的服务器返回最后的response,不知道这个模块的实现是否严格符合规范

作者回复: RFC规范中并没有包含客户端上传文件。这个模块定义了一种新的协议,专用于分片上传文件,它使用的HTTP头部是X-Content-Range,可以看出吸收了RFC规范的理念,但明显不是同一种协议,这里是该协议的详细定义:https://github.com/fdintino/nginx-upload-module/blob/master/upload-protocol.md

2019-10-01
2
小孩
老师怎么这么多域名,都是买的吗

作者回复: 是的。比如,我买了taohui.tech,那么所有的二级、三级、四级域名都是由我自行、免费配置的,比如a.b.c.taohui.tech

2021-03-07
2
1
杰jax
老师您好,最近工作中遇到一个问题,准备了一个测试文件20M。在wifi电信的网络下,用curl -H Range:bytes=0-8000000 能成功下载这个文件;切换到4g联通网络下,用同样方法去下载,却下载失败(下载速度很快,网络没问题,下载到99%就会莫名其妙中断失败),curl error_code是18 (文件传输短或大于预期部分文件,只有部分文件被传输),我把-H Range:bytes=0-8000000这个去掉,则能成功下载。那这个会是什么问题导致?是4g运营商问题将其拦截了?老师对此有什么好的见解,谢谢~

作者回复: 信息太少,还无法判断。 1、中断哪方发起的?比如是RST包吗?服务器发起的吗? 2、server上和client上都抓下包,对比下http request的内容,看看是否一致。 client上我用wireshark抓包,你先看下第37课。server上我一般用 tcpdump抓包,你看下第87课。

2019-11-09
1
安民
老师,你好, 有两个问题请教一下。第一个:极客时间的视频播放,每次GET时,都返回了accept-ranges:bytes, 可是为什么返回码都是200呢? 第二个问题,如果对于后端不支持range的服务器,如果前端做视频播放的话,有没有类似的技术也能实现部分传输呢?

作者回复: 你好安民,accept-ranges:bytes只是告诉客户端,服务器是支持Range请求的。只有客户端发请求的时候,仅要求服务器传输一部分内容时,才会有206返回码,如果请求就没使用Range,自然是200。视频编码这块我不熟。

2020-05-12
RopeTeacher
老师,请问现在大部分网站上下载资源,是已经用的http下载,还是用的ftp。比如说,去游戏官网上下载20个GB的游戏,下载了10个GB断网了,然后第二天起来继续下载剩余的10GB。这种情况大部分网站会选择http断点续传还是ftp。

作者回复: HTTP

2020-05-08
Tommy🍭
什么场景下适合用多线程下载呢?为什么测试发现多线程下并没有比单线程下要快?

作者回复: 简单来说,大文件适合用多线程下载。注意不同的服务器限速策略不同,通常服务器是按连接来限速的,多线程意味着多个连接,总速度自然会有提高。但网速的限制点太多,比如路由器、负载均衡的限速策略等

2020-03-18
2
Long
老师好,我用Xshell做了实验: curl protocol.taohui.tech/app/letter.txt -H 'Range: bytes=1' % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 27 100 27 0 0 27 0 0:00:01 --:--:-- 0:00:01 46 abcdefghijklmnopqrstuvwxyz curl: (6) Could not resolve host: bytes=1' 没有得到想要的结果,这是什么原因呢?

作者回复: Range头部格式不对,你可以换成bytes=1-5,或者bytes=1-,具体格式你可以再看下视频2分40秒

2020-02-25
2
ray
老师好, client端发起range请求后,收到的response是不是只能由client端的程序自己将其组回完整的response? 如果是的话,有没有现成的工具或是套件可以帮我们组合response呢? 谢谢老师^^

作者回复: 通常没有,这与业务逻辑关联太紧密了,你是要下载一个文件吗?文件有多大?如果很大,肯定要持久化到磁盘上,那么磁盘的位置就是个问题,磁盘够不够放得下? 另一个原因是,组合其实就是拼接,你记录下每个response body的位置,而从response中取body非常容易,拼接下就可以了

2019-12-06
收起评论