1、本文核心观点:
大规模数据存储需要解决的三个核心问题,容量,性能,高可用。
2、课后思考及问题
2-1:老师讲的真棒,一下子把大数据高高在上不可亵玩的外衣给撕掉啦!
2-2:大规模数据的三个核心问题,大容量,高性能,高可用。
大容量——水平扩展机器数
高可用——分布式多副本
高性能——这个是最难的,基本上怎么存放数据就决定了存取的性能,但是非关系型数据库还是出现了许多,每一种都有其特点,核心不同点就在于怎么存储数据和存取数据。期待老师后面关于这块的讲解,不过学习过redis和es后发现,主要就是三板斧,一是尽量利用内存;二是尽量使用合适的数据结构,有序的存储结构,三是利用操作系统的高速IO通信,比如:事件驱动IO/零拷贝/异步/多线程
顺序写为啥那么快?
写磁盘的速度其实是一样的,至少同一块磁盘可以认为一样的,关键在顺序二字,如果看过磁盘的内部结构就更清楚了,一块磁盘有多个磁盘片组成,每个磁盘片又划分为不同的磁道,磁道上又划分为不同的扇区,扇区内才是磁盘真正记录数据的地方,写数据之前磁臂磁头要先找到要写的位置。顺序写快就快在找到开始写的地方就可以写数据了,而随机写,写一会可能就需要再找写的位置啦!多花了一些做和写无关的事,自然写不快啦!
好比:你也借1个亿,我也借1个亿,假如你是王思聪,你一开口你爸就给你一个亿,我要去100家银行去借,我借钱的速度自然很慢。
展开