17 | 从Dremel到Parquet（二）：他山之石的MPP数据库

Dremel系统是一个高效的列存储系统，采用了多种数据系统设计思路，包括MPP数据库、搜索引擎的分布式索引和MapReduce的推测执行，实现了百亿行数据表的分析工作在1分钟以内完成的惊人效率。其核心技术特点包括采用列存储大幅减少数据扫描浪费、优化MapReduce程序执行时间、解决MapReduce的额外开销问题，使得SQL查询可以在10秒内得到结果。Dremel系统的设计极大地提高了数据分析的效率，对未来的架构设计工作具有借鉴意义。 Dremel系统的底层计算引擎采用了多层服务树的架构，包括根服务器、中间服务器和叶子服务器，实现了SQL查询的分布式处理和聚合。此外，Dremel系统采用了行列混合存储的MPP架构，将数据存储和计算放在同一个节点，以及将用户SQL查询重写并行分发到多个节点并汇总查询结果，极大提高了系统的并行处理能力和查询效率。 Dremel系统通过创新的架构设计和技术实现，为大规模数据分析提供了重要的技术支持和借鉴价值。其架构设计借鉴了搜索引擎的分布式检索机制，实现了树形分发的搜索引擎架构，以及从MapReduce借鉴了“容错”方案，保证了系统的稳定性和高效性。 Dremel论文的作者在2020年的VLDB里发表了一篇新论文，讲述了Dremel系统后续的迭代更新，包括数据存储迁移到共享的GFS上、通过内存Shuffle架构提升性能等内容，值得一读。这些更新展示了技术架构在不断的权衡、优化中进步的过程。 总之，Dremel系统的设计理念和技术实现为大规模数据分析提供了重要的技术支持和借鉴价值，其高效的数据分析处理能力对未来的架构设计工作具有启发意义。