• 免费的人
    2019-09-04
    用户态程序 怎么控制顺序写还是随机写?

    作者回复: 只追加不修改,一般操作系统和文件系统会为你处理好顺序写的问题的。

    修改特定文件中间的内容,那自然就是随机写啦。

    
     9
  • xindoo
    2019-09-04
    我想起来一个段子,某大厂对外宣称把mysql的性能提升了十几倍,其实是改用了SSD。

    作者回复: 哈哈,其实在10-15年这段时间,这样的性能提升和解决方案是常态

    
     5
  • 安排
    2019-09-04
    b+ 树索引中会存储每行数据在硬盘中的物理地址吗?这个物理地址是不是由好几部分组成,比如柱面,磁道,扇区的组合。
    那B+ 树索引本身又是怎么存放的呢?b+树要存到硬盘上的话需要做特殊的序列化吗?怎么才能保证从硬盘读入索引数据后快速的在内存生成一棵B+树呢?

    作者回复: 可以这样做也可以不这样做。一般来说大部分都不会直接存放物理地址。仍然是通过操作系统的文件系统来管理的。

    B+树序列化地存放在文件里面,反序列化加载的过程就是B+树生成的过程啊。

     2
     2
  • 山间竹
    2020-01-06
    我想问一下,Cassandra在hdd上删除重写是个怎么样的机制呢?会不会出现碎片,然后直接影响到顺序大块写?

    作者回复: 山间竹同学,

    你好,Cassandra最新版本的代码我没有那么熟悉。不过早期版本的Cassandra用过很长一段时间,如果我没有记错的话,基本的逻辑是这样的。

    1. 通过Write Ahead Log的方式先把操作写入到日志
    2. 再写入数据到内存里面
    3. 内存定期会Dump到磁盘上
    4. 后台有进程做Compact来减少Dump的数据和日志

    在做Compaction的过程中,顺序写的性能和在线访问的性能都会受一定影响。不过主要是磁盘IO,而不是碎片问题。可以认为Compaction其实就是不停做碎片整理。

     1
     1
  • leslie
    2019-09-04
    提出一点质疑希望老师不要介意啊,毕竟学习的过程以及和老师交互还是比较愉快:老师用CSV格式去说MYSQL好像不太合适吧,mysql其实很少会导出成CSV格式-oracle的特性,至少5.5和5.6都会导成sql格式,sql server都很少会用这种格式去导成CSV文件-导入不太方便,Oracle倒是这种形式最方便且速度方面最稳定。
           老师说马上就要完课了:这门课还有多久啊?真正沉浸学习中发现课程结束的都超快,两门课结合着学习-发现时光如梭,前天刘老师的课刚收尾,老师的课就要结束了;真快。

    作者回复: 欢迎多质疑,我写的内容其实也还是有不少错漏的。

    嗯,其实我用CSV来举例子是希望简化描述问题。MySQL这样得数据库,底层的存储自然不是一个CSV这样的格式。


    不过作为一门入门的课程,直接再去讲MySQL里面的存储格式,无论是篇幅还是难度可能对大部分同学都大了一些。

    也许用更简单的数据库,比如SQLite的底层B+树的存储格式可能更合适一些。

    课程内容到今天已经写完了,接下来会把写文章的时间回复掉大家所有的问题,做一些内容的订正,以及根据反馈再发几篇FAQ和加餐。

     1
     1
  • fcb的鱼
    2020-02-08
    你好,问下
    1.Cassandr 数据库在数据读取层面,通过内存缓存+ BloomFilte+硬盘的机制来保证随机读的问题。想问下这个随机读的过程中,请求只查询内存的数据占多大比例呢?在Cassandr数据库的架构里边,这个内存占用率是多少(比如是不是硬盘是10G,内存是1G).这种架构。
    2.如果mysql在不考虑随机写的场景下,使用这种内存+硬盘的方案是不是也可以的?

    作者回复: fcb的鱼同学,

    你好

    1. 对应比例要看实际的数据访问分布,并没有一个固定答案,其实可以回头重新看看讲存储分层里面的案例,你可以根据你的实际应用场景来估算。
    内存占用也是要看你的硬件配置,你只配1G内存当然用不了2G对不对

    2. 我不是MySQL的专家,没有仔细研读过MySQL的代码。不过MySQL肯定也会用类似BloomFilter机制,以及必然会有缓存,来减少对于磁盘的访问。以提升整个数据库在实际应用中的表现。

    
    
  • 随心而至
    2019-10-24
    只有明白1+1,才可以推到公式,读这篇文章有种酣畅淋漓的感觉,赞赞赞
    
    
  • prader
    2019-10-18
    cassendra (通过优化随机读取) 和ssd 硬盘可以更好的支持并发。
    
    
  • 活的潇洒
    2019-09-15
    坚持到最后、你会收获不一样的自己、加油

    day53 笔记:https://www.cnblogs.com/luoahong/p/11514616.html
    
    
  • 易儿易
    2019-09-08
    透过现象看本质,跟着老师的讲解一层层剥离原理,知其然,并知所以然~希望以后自己也能深度分析技术原理进行技术选型,而不是盲从大流以及试试看不行就换……

    作者回复: 👍加油

    
    
  • 暴风雪
    2019-09-05
    中途一度落后了20多节课,然后每天都看一两篇再度追上了进度,课程越后面越精彩

    作者回复: 谢谢

    
    
  • 吴宇晨
    2019-09-05
    列式存储是按同一列数据cun

    作者回复: 能更具体一点么?

    
    
我们在线,来聊聊吧