02｜分布式存储数据结构LSM，如何优化读写性能？

1. LSM树的出现是为了解决磁盘随机I/O速度过慢的问题，将数据的随机磁盘I/O读写都转化为内存的读写，然后通过批量写入磁盘和延迟合并操作来提高写入性能。 2. LSM架构中的MemStore组件在内存中使用有序的数据结构，如跳表，将写入的数据排好序，当达到阈值或一定时间后，将数据刷新输出到磁盘，实现磁盘的批量顺序写入，提高写入性能。 3. LSM引入WAL（Write-Ahead-Log）来解决内存数据丢失问题，数据写入MemStore之前，会将对数据的操作先记录到WAL日志文件，以追加的形式批量顺序写入磁盘，保证数据不丢失。 4. HBase在后台引入了文件合并Compact机制，包括Minor Compact和Major Compact，用于合并StoreFile文件，清理过时数据，提升读取效率。 5. HBase还引入了布隆过滤器来过滤掉一些明确不存在数据行的文件，以减少读取数据时需要扫描的StoreFile数量，提升数据读取性能。 6. 布隆过滤器可以非常快速地检查出一个元素是否在一个集合中，但可能存在“假阳性”，即误报的情况。 7. 布隆过滤器的位图长度和哈希函数的个数需要权衡，以降低误报率。 8. 了解LSM的应用可以帮助读者更好地理解存储引擎的性能优化和应用设计，以及在实际场景中如何应用类似的架构来解决各种问题。 9. 通过LSM的应用，读者可以学习如何在实际场景中优化存储引擎的读写性能，以及如何平衡各种性能和准确性的需求。 10. HBase通过LSM和布隆过滤器等设计，实现了在使用机械硬盘的情况下，也能够实现毫秒级的响应，适合批量写入较多、查询较少的场景。