深入浅出计算机组成原理
徐文浩
bothub创始人
立即订阅
13019 人已学习
课程目录
已完结 62 讲
0/4登录后,你可以任选4讲全文学习。
入门篇 (5讲)
开篇词 | 为什么你需要学习计算机组成原理?
免费
01 | 冯·诺依曼体系结构:计算机组成的金字塔
02 | 给你一张知识地图,计算机组成原理应该这么学
03 | 通过你的CPU主频,我们来谈谈“性能”究竟是什么?
04 | 穿越功耗墙,我们该从哪些方面提升“性能”?
原理篇:指令和运算 (12讲)
05 | 计算机指令:让我们试试用纸带编程
06 | 指令跳转:原来if...else就是goto
07 | 函数调用:为什么会发生stack overflow?
08 | ELF和静态链接:为什么程序无法同时在Linux和Windows下运行?
09 | 程序装载:“640K内存”真的不够用么?
10 | 动态链接:程序内部的“共享单车”
11 | 二进制编码:“手持两把锟斤拷,口中疾呼烫烫烫”?
12 | 理解电路:从电报机到门电路,我们如何做到“千里传信”?
13 | 加法器:如何像搭乐高一样搭电路(上)?
14 | 乘法器:如何像搭乐高一样搭电路(下)?
15 | 浮点数和定点数(上):怎么用有限的Bit表示尽可能多的信息?
16 | 浮点数和定点数(下):深入理解浮点数到底有什么用?
原理篇:处理器 (18讲)
17 | 建立数据通路(上):指令+运算=CPU
18 | 建立数据通路(中):指令+运算=CPU
19 | 建立数据通路(下):指令+运算=CPU
20 | 面向流水线的指令设计(上):一心多用的现代CPU
21 | 面向流水线的指令设计(下):奔腾4是怎么失败的?
22 | 冒险和预测(一):hazard是“危”也是“机”
23 | 冒险和预测(二):流水线里的接力赛
24 | 冒险和预测(三):CPU里的“线程池”
25 | 冒险和预测(四):今天下雨了,明天还会下雨么?
26 | Superscalar和VLIW:如何让CPU的吞吐率超过1?
27 | SIMD:如何加速矩阵乘法?
28 | 异常和中断:程序出错了怎么办?
29 | CISC和RISC:为什么手机芯片都是ARM?
30 | GPU(上):为什么玩游戏需要使用GPU?
31 | GPU(下):为什么深度学习需要使用GPU?
32 | FPGA和ASIC:计算机体系结构的黄金时代
33 | 解读TPU:设计和拆解一块ASIC芯片
34 | 理解虚拟机:你在云上拿到的计算机是什么样的?
原理篇:存储与I/O系统 (17讲)
35 | 存储器层次结构全景:数据存储的大金字塔长什么样?
36 | 局部性原理:数据库性能跟不上,加个缓存就好了?
37 | 高速缓存(上):“4毫秒”究竟值多少钱?
38 | 高速缓存(下):你确定你的数据更新了么?
39 | MESI协议:如何让多核CPU的高速缓存保持一致?
40 | 理解内存(上):虚拟内存和内存保护是什么?
41 | 理解内存(下):解析TLB和内存保护
42 | 总线:计算机内部的高速公路
43 | 输入输出设备:我们并不是只能用灯泡显示“0”和“1”
44 | 理解IO_WAIT:I/O性能到底是怎么回事儿?
45 | 机械硬盘:Google早期用过的“黑科技”
46 | SSD硬盘(上):如何完成性能优化的KPI?
47 | SSD硬盘(下):如何完成性能优化的KPI?
48 | DMA:为什么Kafka这么快?
49 | 数据完整性(上):硬件坏了怎么办?
50 | 数据完整性(下):如何还原犯罪现场?
51 | 分布式计算:如果所有人的大脑都联网会怎样?
应用篇 (5讲)
52 | 设计大型DMP系统(上):MongoDB并不是什么灵丹妙药
53 | 设计大型DMP系统(下):SSD拯救了所有的DBA
54 | 理解Disruptor(上):带你体会CPU高速缓存的风驰电掣
55 | 理解Disruptor(下):不需要换挡和踩刹车的CPU,有多快?
结束语 | 知也无涯,愿你也享受发现的乐趣
免费
答疑与加餐 (5讲)
特别加餐 | 我在2019年F8大会的两日见闻录
FAQ第一期 | 学与不学,知识就在那里,不如就先学好了
用户故事 | 赵文海:怕什么真理无穷,进一寸有一寸的欢喜
FAQ第二期 | 世界上第一个编程语言是怎么来的?
特别加餐 | 我的一天怎么过?
深入浅出计算机组成原理
登录|注册

36 | 局部性原理:数据库性能跟不上,加个缓存就好了?

徐文浩 2019-07-17
平时进行服务端软件开发的时候,我们通常会把数据存储在数据库里。而服务端系统遇到的第一个性能瓶颈,往往就发生在访问数据库的时候。这个时候,大部分工程师和架构师会拿出一种叫作“缓存”的武器,通过使用 Redis 或者 Memcache 这样的开源软件,在数据库前面提供一层缓存的数据,来缓解数据库面临的压力,提升服务端的程序性能。
在数据库前添加数据缓存是常见的性能优化方式
那么,不知道你有没有想过,这种添加缓存的策略一定是有效的吗?或者说,这种策略在什么情况下是有效的呢?如果从理论角度去分析,添加缓存一定是我们的最佳策略么?进一步地,如果我们对于访问性能的要求非常高,希望数据在 1 毫秒,乃至 100 微妙内完成处理,我们还能用这个添加缓存的策略么?

理解局部性原理

我们先来回顾一下,上一讲的这张不同存储器的性能和价目表。可以看到,不同的存储器设备之间,访问速度、价格和容量都有几十乃至上千倍的差异。
以上一讲的 Intel 8265U 的 CPU 为例,它的 L1 Cache 只有 256K,L2 Cache 有个 1MB,L3 Cache 有 12MB。一共 13MB 的存储空间,如果按照 7 美元 /1MB 的价格计算,就要 91 美元。
我们的内存有 8GB,容量是 CPU Cache 的 600 多倍,按照表上的价格差不多就是 120 美元。如果按照今天京东上的价格,恐怕不到 40 美元。128G 的 SSD 和 1T 的 HDD,现在的价格加起来也不会超过 100 美元。虽然容量是内存的 16 倍乃至 128 倍,但是它们的访问速度却不到内存的 1/1000。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《深入浅出计算机组成原理》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(15)

  • xindoo
    局部性原理真是计算机各类优化的基石,小到cpu cache,大到cdn。而且不仅仅是存储,java的jit也是利于局部性优化性能。任何东西只要不是均匀分布的,就有优化空间。
    2019-07-17
    29
  • 许童童
    假设淘宝网有12亿商品数量,每件商品需要 4MB 的存储空间,那么一共需要 4800TB( = 12 亿 × 4MB)的数据存储
    如果1%的热点数据做为缓存则需要48TB的内存 72 万美元( = 48TB/1MB × 0.015 美元 = 72 万美元)
    另外还需要99%的硬盘 19 万美元( = 4752TB/1MB × 0.00004 美元 = 19 万美元)
    2019-07-17
    10
  • 拓山
    局部性原理放之四海而皆准
    现实生活中的人际关系也是如此啊
    2019-10-16
    1
  • leslie
    其实这还是一个负载均衡的问题:如何合理的使用内存库;就如同现在某些行业的数据库其实是定时入数据库的,效率的平衡性确实;物理设备代价的平衡性,程序、数据库、中间件的使用平衡性,需要整体考虑。

    作者回复: leslie同学,

    你好,这是一个trade-off的问题,是一个选择、平衡、妥协的问题,但是不是一个负载均衡的问题哦

    2019-08-22
    1
  • 靠人品去赢
    时间局部性,从时间维度上将东西关联起来,一部电视剧电视剧第一集第二集这种,有时间轴的那种。
    空间复杂度,从类似于空间的概念关联起来,比如说同类商品,竞品或者同一品牌的不同系列。
    实际中,感觉还是把访问次数最多的放进去,或者干脆就是交给Redis来管设个时间就完了。那实际中我们怎么更好贯彻这两个局部性?
    2019-07-17
    1
    1
  • 悟空
    太赞了,这种结合实际场景说明计算机原理理论的方式方法让人受益匪浅。
    2019-12-03
  • xuesong Zhang
    请问 估算每天的活跃用户为 1 亿,这 1 亿用户每人平均会访问 100 个商品,那么平均每秒访问的商品数量,就是 12 万次 这 12万次是如何计算出来的?
    2019-10-30
    1
  • 随心而至
    我记得编程珠玑有一章中,专门考察了估算能力,老师关于亚马逊的估算真的是很赞。
    2019-10-22
  • 亡翎
    利用缓存+内存+硬盘+磁盘的访问速度和容量大小,根据局部性原理 ,来设计存储器的层次结构
    2019-10-16
  • coldpark
    感觉老师在冒险与预测的专题之后看材料的时间就比原来少了,内容也没那么干活满满了,希望之后几章能恢复过来。
    2019-10-03
  • ........
    老师, 感觉硬盘应该还是需要能够完全支撑用户访问, 因为一开始数据应该都是存放在硬盘中, 然后通过用户的不断点击来更新缓存? 不知道是不是这样

    作者回复: 是这样的。但是一般我们可以做缓存预热,也就是warm-up,预先把我们认为可能会高频访问的数据先加载到缓存里面来。

    2019-09-30
  • 吴宇晨
    感觉还能加一层ssd缓存,内存和ssd差价太大速度也差很多,可以内存存千分一,ssd存百分一

    作者回复: 吴宇晨同学,

    你好,是的,SSD在今天是一个更好的选择。而且因为SSD不是易失性存储设备,而且价格也大幅度下降了。现在大家都直接用作存储了,而不是用来作为缓存设备了。

    2019-08-28
  • Jag
    现在通常加一个redis ,在加一个本地缓存,来帮数据库分担压力

    作者回复: Jag同学,

    你好,在这一讲里,我们已经用上了本地缓存。你可以尝试估算一下淘宝的数据量,看看到底要用多少机器才能装得下这么多数据呢?

    2019-08-22
  • 活的潇洒
    我工作经常和缓存打交道、也知道缓存的应用场景、知道怎么用,但是就是不知道底层的实现原理

    day36 笔记:https://www.cnblogs.com/luoahong/p/11328360.html
    2019-08-21
  • Sch0ng
    非计科的程序员看到局部性原理这个词有中热泪盈眶的感觉。
    2019-07-26
收起评论
15
返回
顶部