特别加餐 | 高性能检索系统中的设计漫谈

非聚集索引。如果要保证 MyISAM 的数据一致性，那我们需要在表级别上进行加锁处理。 -------------------- 为什么 非聚集索引 即叶子节点保存的是指针，就不能有行级别的锁呢？ 我保证指针指向的记录不能更新不就可以了吗？

对于老师总结的这几部分，我的想法如下，不恰当的地方，烦请老师指正。 1. 索引和数据分离 我想到了存储计算分离的设计，比如消息队列Pulsar就是采用这样设计，存储消息的职责从Broker分离出来，交给专门存储集群，这样Broker就变成无状态的节点，灵活的集群调度。Bigquery和aws Aurora也是如此的设计。 2. 减少磁盘 IO Kafka中通过分批，顺序读写IO，也使用Zero Copy加快数据读取速度 3. 读写分离 服务器在操作数据库的时候，采用读写分离，降低服务器的压力，但是得注意数据最终一致性问题。 4. 分层处理 在服务器和数据库中间加入Redis作为缓存，可以看做一种分层处理，来缓解直接访问数据库的压力。在ES里把数据分为冷热数据也有类似的思想。

1. 索引和数据分离 老师讲到的mysiam和innodb的例子，我觉得有点怪，因为数据操作影响到的数据结构全局还是局部，才是加锁范围的核心因素。这里我并没有看到直接联系，除非说mysiam的真实数据就在磁盘里连续存成了一个数组，但还是和数据索引分离不分离没啥子关系。 而且其实我认为innodb这样的也算数据索引分离，毕竟索引页和数据页是分离的。我能想到的好像都是数据索引分离的机构，OLAP各种列存结构(数据按列分块存，并在基础上额外加一些minmax，skipindex等一些索引）, 以及LSM为代表的一众TP数据库，像hbase中hfile数据块索引块，当然我隐约感觉磁盘存储的话索引数据不分离，有很大的复杂度，还想不太明白，不胡说八道了。 2. 减少磁盘 IO 老师讲的有的有点多啊，比较快想到的不一样的是各种编码的算法，hbase diff以及列存的delta dictionaryencoding等等。 3. 读写分离 读写分裂更广泛的含义在于把不同的workload的任务相互分开，使得不会相互影响。 实时数仓（Druid，pinot，以及阿里的adb）就一般采用lambda架构，把实时摄入的分一波，历史节点的数据分一波，实时摄入完了，数据迁移到历史节点。 4. 分层处理 说道分层处理，我就觉得国内不管教学也好，还是实际工作中也好，就通常比较聚焦在没一层的东东上。比如说数据库，我们会讲内存中长啥样，磁盘中讲啥样，问题是disk-base的数据库存储侧比较重要的一点在于怎么让数据尽可能的move 到上层的存储器，同时满足事务等约束，所以数据在各个层次之间的movement我就很少可看到人讲，学的时候老感觉缺一块。o(*￣︶￣*)o，扯回主题，时序数据库就很抢到数据的分层结构，毕竟数据本身的特性——最近的数据越有价值摆在这里，所以一般都会按时间进行切片，不同的切片去灵活部署到不同的dataserver或者采用不同的数据结构。

学习打卡