Web 协议详解与抓包实战
陶辉
智链达 CTO,前阿里云高级技术专家
43211 人已学习
新⼈⾸单¥68
课程目录
已完结/共 121 讲
第一章:HTTP/1.1协议 (38讲)
时长 05:53
时长 06:57
Web 协议详解与抓包实战
登录|注册
留言
15
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 30 | 缓存新鲜度的四种计算方式
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 浏览器发起HTTP请求的典型场景
04 | 基于ABNF语义定义的HTTP消息格式
05 | 网络为什么要分层:OSI模型与TCP/IP模型
06 | HTTP解决了什么问题?
07 | 评估Web架构的七大关键属性
08 | 从五种架构风格推导出HTTP的REST架构
09 | 如何用Chrome的Network面板分析HTTP报文
10 | URI的基本格式以及与URL的区别
11 | 为什么要对URI进行编码?
12 | 详解HTTP的请求行
13 | HTTP的正确响应码
14 | HTTP的错误响应码
15 | 如何管理跨代理服务器的长短连接?
16 | HTTP消息在服务器端的路由
17 | 代理服务器转发消息时的相关头部
18 | 请求与响应的上下文
19 | 内容协商与资源表述
20 | HTTP包体的传输方式(1):定长包体
21 | HTTP包体的传输方式(2):不定长包体
22 | HTML form表单提交时的协议格式
23 | 断点续传与多线程下载是如何做到的?
24 | Cookie的格式与约束
25 | Session及第三方Cookie的工作原理
26 | 浏览器为什么要有同源策略?
27 | 如何“合法”地跨域访问?
28 | 条件请求的作用
29 | 缓存的工作原理
30 | 缓存新鲜度的四种计算方式
31 | 复杂的Cache-Control头部
32 | 什么样的响应才会被缓存
33 | 多种重定向跳转方式的差异
34 | 如何通过HTTP隧道访问被限制的网络
35 | 网络爬虫的工作原理与应对方式
36 | HTTP协议的基本认证
37 | Wireshark的基本用法
38 | 如何通过DNS协议解析域名?
39 | Wireshark的捕获过滤器
40 | Wireshark的显示过滤器
41 | Websocket解决什么问题
42 | Websocket的约束
43 | WebSocket协议格式
44 | 如何从HTTP升级到WebSocket
45 | 传递消息时的编码格式
46 | 掩码及其所针对的代理污染攻击
47 | 如何保持会话心跳
48 | 如何关闭会话
49 | HTTP/1.1发展中遇到的问题
50 | HTTP/2特性概述
51 | 如何使用Wireshark解密TLS/SSL报文?
52 | h2c:在TCP上从HTTP/1升级到HTTP/2
53 | h2:在TLS上从HTTP/1升级到HTTP/2
54 | 帧、消息、流的关系
55 | 帧格式:Stream流ID的作用
56 | 帧格式:帧类型及设置帧的子类型
57 | HPACK如何减少HTTP头部的大小?
58 | HPACK中如何使用Huffman树编码?
59 | HPACK中整型数字的编码
60 | HPACK中头部名称与值的编码格式
61 | 服务器端的主动消息推送
62 | Stream的状态变迁
63 | RST_STREAM帧及常见错误码
64 | 我们需要Stream优先级
65 | 不同于TCP的流量控制
66 | HTTP/2与gRPC框架
67 | HTTP/2的问题及HTTP/3的意义
68 | HTTP/3: QUIC协议格式
69 | 七层负载均衡做了些什么?
70 | TLS协议的工作原理
71 | 对称加密的工作原理(1):XOR与填充
72 | 对称加密的工作原理(2):工作模式
73 | 详解AES对称加密算法
74 | 非对称密码与RSA算法
75 | 基于openssl实战验证RSA
76 | 非对称密码应用:PKI证书体系
77 | 非对称密码应用:DH密钥交换协议
78 | ECC椭圆曲线的特性
79 | DH协议升级:基于椭圆曲线的ECDH协议
80 | TLS1.2与TLS1.3 中的ECDH协议
81 | 握手的优化:session缓存、ticket票据及TLS1.3的0-RTT
82 | TLS与量子通讯的原理
83 | 量子通讯BB84协议的执行流程
84 | TCP历史及其设计哲学
85 | TCP解决了哪些问题
86 | TCP报文格式
87 | 如何使用tcpdump分析网络报文
88 | 三次握手建立连接
89 | 三次握手过程中的状态变迁
90 | 三次握手中的性能优化与安全问题
91 | 数据传输与MSS分段
92 | 重传与确认
93 | RTO重传定时器的计算
94 | 滑动窗口:发送窗口与接收窗口
95 | 窗口的滑动与流量控制
96 | 操作系统缓冲区与滑动窗口的关系
97 | 如何减少小报文提高网络效率
98 | 拥塞控制(1):慢启动
99 | 拥塞控制(2):拥塞避免
100 | 拥塞控制(3):快速重传与快速恢复
101 | SACK与选择性重传算法
102 | 从丢包到测量驱动的拥塞控制算法
103 | Google BBR拥塞控制算法原理
104 | 关闭连接过程优化
105 | 优化关闭连接时的TIME-WAIT状态
106 | keepalive 、校验和及带外数据
107 | 面向字节流的TCP连接如何多路复用
108 | 四层负载均衡可以做什么
109 | 网络层与链路层的功能
110 | IPv4分类地址
111 | CIDR无分类地址
112 | IP地址与链路地址的转换:ARP与RARP协议
113 | NAT地址转换与LVS负载均衡
114 | IP选路协议
115 | MTU与IP报文分片
116 | IP协议的助手:ICMP协议
117 | 多播与IGMP协议
118 | 支持万物互联的IPv6地址
119 | IPv6报文及分片
120 | 从wireshark报文统计中找规律
121 | 结课测试&结束语
本节摘要
登录 后留言

全部留言(15)

  • 最新
  • 精选
KrystalJake
老师可否详细解释一下最后这个例子,now1,now2,now3,还有初试age,age的计算,感觉和给的公式哪个都对不上,比较胡乱的一个计算,谢谢🙏

作者回复: 很好的问题,我这里做了很多简化,应该在PPT上加个注释比较好:-) 1、now是响应2发出时的当前时间,因此请求2的Age=response_time1-date1+now-response_time1=now-date1。这个你应该没有问题。 2、now2是代理接收到响应2的时间,也就是response_time2, 故Age=now-date1+response_time2-request_time2+now2-response_time2=now-date1-request_time2+now2, 这里我把now替换为response_time2,故 Age=response_time2-date1-request_time2+now2,我又把它整理为now2-date1+response_time2-request_time2,是为了方便大家理解,now2-date1才是最关键的,因为response_delay可能只是一个极小值。 3、now3是响应3发出的时间,此时重复第2步,把response_time2改成now3即可。

2019-06-19
3
5
对于代理服务器的初始 Age ,怎么一会用 response_time -date1,一会用 now-date1 的? 对于Current-age 计算这一块,看了2遍没有看懂怎算的,麻烦老师在讲解一下的

作者回复: 有个前提:now2=response_time2。 1、now是响应2发出时的当前时间,因此请求2的Age=response_time1-date1+now-response_time1=now-date1。 2、now2是代理接收到响应2的时间,也就是response_time2, 故Age=now-date1+response_time2-request_time2+now2-response_time2=now-date1-request_time2+now2, 这里我把now替换为response_time2,故 Age=response_time2-date1-request_time2+now2,我又把它整理为now2-date1+response_time2-request_time2,是为了方便大家理解,now2-date1才是最关键的,因为response_delay可能只是一个极小值。 3、now3是响应3发出的时间,此时重复第2步,把response_time2改成now3即可。

2019-06-07
2
2
计算age的时候为什么要加上一个 delay的值呢? 当前时间减去源服务器资源响应的时间不就是 资源创建的时间了吗?

作者回复: 防止网络中发送大包体耗时过长,宁可cache用不了,也不能让本该过期的cache还能使用

2019-06-07
1
洛河
老师,您好: 在 代理服务器缓存中的age头部 这个模块 请求3部分 age值的计算中:怎么获取date1的?

作者回复: 你是说响应3么?它实际计算时不会用到date1,而是用它收到时的Age来计算 。我特意对照出源服务器中的date1,只是为了说明:Age决定性的数值是从源服务生成响应那个时间算起。

2019-08-30
无名
预估过期时间 = (DownloadTime - LastModified) * 10% resident_time = now - response_time(接收到响应的时间) DownloadTime和response_time是同一个值吗?

作者回复: 是的。参见RFC文档:“If the response has a Last-Modified header field, caches are encouraged to use a heuristic expiration value that is no more than some fraction of the interval since that time. A typical setting of this fraction might be 10%.”

2019-08-20
无名
chrome浏览器怎么查看默认的缓存大小?缓存是否又分为内存缓存和磁盘缓存?

作者回复: google把查看chrome缓存的命令从最新版本移除了。你可以在65老版本之前的chrome浏览器上用chrome://cache或者chrome://view-http-cache查看缓存大小。是的。

2019-08-18
magicnum
老师第二个代理服务器的初始age可以用基于date计算age:response_time2-date1吧?您文稿中用的是相对age计算的

作者回复: 不可以,因为发出响应2时,还没有response_time2这个时间,因为只有接收到响应才有response_time2这个概念。

2019-06-12
qzmone
老师,对于“ 初始 Age:now2-date1+response_time2- request_time2”,初始Age不应该是“now2-date1”吗,也就是收到响应的时间减去date1,既然收到响应了,说明这个now2是已经包含了时延了,为什么还要加一个时延呢,没太明白
2020-03-07
3
乘风破浪
小结: 判断缓存是否过期就是简单用下面的表达式 response_is_fresh = (freshness_lifetime > current_age) 基本的逻辑不是freshness_lifetime在浏览器内部倒计时,而是current_age在累积,然后比大小。 所以fressness_lifetime是一个固定的静态值, 可以有4个来源,优先级从高到低分别是s-maxage,max-age,Expires,Expires2系统预估时间]。 注1:s-maxage仅对共享缓存有效,私有缓存将忽略 注2:Expires是一个头字段,而s-maxage,max-age是Cache-Control的可选项,所以不能在MDN搜HTTP头字段获得 系统预估时间,是因为某些资源未提供上述3个时间值,而又有必要缓存。 预估时间计算公式[RFC7234]:(DownloadTime-LastModified)*10% Chrome,Webkit遵循上述规范 Firefox,在上述值和OneWeek中取小的那个值 current-age的计算 根据公式current-age= corrected_initial_age+resident_time 基本逻辑是本地驻留时间+网络传输消耗的时间。 resident_time = now - response_time corrected_initial_age = max(apparent_age,corrected_age_value); corrected_initial_age应对2种场景: 1. 直接从服务器获取消息,对应apparent_age,不考虑age 2. 从代理服务器获取消息,对应corrected_age_value,需考虑age apparent_age = max(0,response_time-date_value) 相当于是响应消息在网络从服务器到客户端单向传输消耗的时间。 current-age在corrected_age_value这个分支和age有关联。 corrected_age_value = age_value + response_delay response_delay = response_time -request_time response_delay相当于消息双向传输时间。
2021-09-22
3
2
我好像一点都不像程序员
这集看的很难受,没有数字只有变量名,很难对照,先收藏再研究
2020-04-18
2
收起评论