• Panmax 置顶
    2018-11-08
    3. 数据可靠性的问题。使用 RAID 0、RAID 5 或者 RAID 6 方案的时候,由于数据有冗余存储,或者存储校验信息,所以当某块磁盘损坏的时候,可以通过其他磁盘上的数据和校验数据将丢失磁盘上的数据还原。

    这里应该是 RAID1 吧

    作者回复: 实践中一般用raid10,已订正,谢谢指正

    
     8
  • gogo
    2018-11-08
    连续写入:写入只寻址一次 存储位置与逻辑位置相邻 不用多次寻址

    随机写入:每写一次 便寻址一次 增加了磁盘的寻址时间

    作者回复: 是的

    
     87
  • wmg
    2018-11-08
    到目前为止专栏的内容基本上是普及大数据知识,非常适合打算入坑的码农,期待后续能有更多关于大数据系统架构和针对某项技术深入介绍的内容。
    
     23
  • lyshrine
    2018-11-08
    老师,为啥通常情况一块磁盘使用寿命大概是一年?磁盘不是能用很多年吗?一年一换成本会不会太高了?

    作者回复: 服务器磁盘访问压力大,寿命短
    你的电脑常年不关机下小电影,硬盘也坏的快

     1
     16
  • o°cboy
    2018-11-08
    磁盘的读写过程,最消耗时间的地方就是在磁盘中磁道寻址的过程,而一旦寻址完成,写入数据的速度很快。
    顺序写入只要一次寻址操作,而随机写入要多次寻址操作。所以顺序写入速度明显高于随机写入。
    个人的理解,不正确的地方,还请多多指教。

    作者回复: 是的

    
     13
  • lyshrine
    2018-11-08
    “RAID 3可以在数据写入磁盘的时候,将数据分成 N-1 份,并发写入 N-1 块磁盘,并在第 N 块磁盘记录校验数据,这样任何一块磁盘损坏(包括校验数据磁盘),都可以利用其他 N-1 块磁盘的数据修复。”
    不是很明白:数据都是写到N-1的磁盘里,每个磁盘里的数据都不一样,没有备份,如何数据修复?
     1
     8
  • 暴风雪
    2018-11-09
    那个RAID3的修复,可以理解为:b1+b2+b3+...+bn=s,其中一块坏掉了,也就是bn数据不见了,可以通过bn=s-b1-b2-b3-...-b(n-1)。
    
     7
  • gogo
    2018-11-08
    老师居然回我信息了,好开心! 我最喜欢那种 讲课做事都亲自来的老师! 听了老师四节课了,都是老师自己读,有的话是老师的原汁原味的话,在文稿里没有! 给智慧老师打call!

    作者回复: 谢谢

    
     7
  • hashmap
    2018-11-09
    磁盘寻址是耗时操作,是时间大于写入时间
    连续写入,可以寻址一次,然后写入
    随机写入,需要寻址多次,然后写入
    所以连续写入快
    这个问题可以延伸回答,为什么很多数据库索引采用b+树,而不是完全二叉树?
    因为b+树的节点包含多个信息,可以连续读写磁盘
    有一疑问?RAID技术是实现在哪里?
    需要安装软件,还是磁盘的驱动实现
    展开

    作者回复: 有raid硬件,也有驱动实现

    
     6
  • godtrue
    2019-09-26
    1、本文核心观点:
    大规模数据存储需要解决的三个核心问题,容量,性能,高可用。

    2、课后思考及问题
    2-1:老师讲的真棒,一下子把大数据高高在上不可亵玩的外衣给撕掉啦!
    2-2:大规模数据的三个核心问题,大容量,高性能,高可用。
    大容量——水平扩展机器数
    高可用——分布式多副本
    高性能——这个是最难的,基本上怎么存放数据就决定了存取的性能,但是非关系型数据库还是出现了许多,每一种都有其特点,核心不同点就在于怎么存储数据和存取数据。期待老师后面关于这块的讲解,不过学习过redis和es后发现,主要就是三板斧,一是尽量利用内存;二是尽量使用合适的数据结构,有序的存储结构,三是利用操作系统的高速IO通信,比如:事件驱动IO/零拷贝/异步/多线程

    顺序写为啥那么快?
    写磁盘的速度其实是一样的,至少同一块磁盘可以认为一样的,关键在顺序二字,如果看过磁盘的内部结构就更清楚了,一块磁盘有多个磁盘片组成,每个磁盘片又划分为不同的磁道,磁道上又划分为不同的扇区,扇区内才是磁盘真正记录数据的地方,写数据之前磁臂磁头要先找到要写的位置。顺序写快就快在找到开始写的地方就可以写数据了,而随机写,写一会可能就需要再找写的位置啦!多花了一些做和写无关的事,自然写不快啦!
    好比:你也借1个亿,我也借1个亿,假如你是王思聪,你一开口你爸就给你一个亿,我要去100家银行去借,我借钱的速度自然很慢。
    展开
    
     5
  • 落叶飞逝的恋
    2018-11-08
    RAID 5 6螺旋写入这个怎么看?前面三个图的DATA表示看的懂,后面两个看不懂?还有就是平常开发接触不到服务器怎么办?
    
     4
  • zc
    2018-11-08
    老师请推荐大数据相关书籍
    
     4
  • 格非
    2018-11-08
    跟机械磁盘的构造有关,随机读写时,磁头需要不停的移动,时间都浪费在了磁头寻址上

    作者回复: 是的

    
     4
  • 小文同学
    2018-11-08
    传统机械硬盘的读写耗时主要在寻址上,连续读写一般只寻址一次,所以速度会快。

    作者回复: 是的

    
     3
  • 暴风雪
    2018-11-09
    我想问一下,RAID 3的任意一块磁盘损坏,通过其他磁盘的数据修复,是怎么修复的?有点不理解这段话

    作者回复: 有一块盘记录校验数据,用校验数据和未损坏盘数据可以计算损坏盘的数据

    
     2
  • 暴风雪
    2018-11-09
    思考题:上文说过,机械硬盘时间消耗主要在寻址上,所以我猜想,连续文件写入时是只寻址一次,后面可以连续写入,所以时间计划不变,而数据库随机写入,每次都要寻址,分配新的地址,所以时间就慢很多了
    
     2
  • 公号-云原生程序员
    2018-11-08
    1 计算写入地址更简单快速
    2 磁盘机械机构移动的距离更少,寻址更快
    3 由于空间的连续性,写入也更快

    作者回复: 是的

    
     2
  • 达子不一般
    2019-10-10
    raid5的磁盘使用率是n-1/n,raid5不是校验信息写在所有磁盘上吗?raid6校验信息写在2块磁盘上,不是raid3的升级吗?没有频繁更新的问题吗?校验信息是类似数据压缩信息吗?2块磁盘能放的下吗?

    作者回复: 不是压缩,通过位运算计算校验位。

    
     1
  • 刘工的一号马由
    2018-11-29
    RAID5为什么是N-1呢?不是所有磁盘螺旋写入吗?应该所有磁盘都可以使用啊
    
     1
  • GeXeLr
    2018-11-16
    老师那个磁盘利用率是怎么计算出来的呀?还有速度提升倍数又是怎么计算出来的?
    
     1
我们在线,来聊聊吧