01｜列式存储已经取代行式存储了吗？

1. 行式存储适用于OLTP场景，而列式存储适用于OLAP场景，因为行式存储能以最少的磁盘读写代价处理一行业务数据的读写，而列式存储能够减少I/O操作，提高查询效率。 2. 列式存储在分析型数据库中的优势：在OLAP场景下，列式存储可以只读取所需的列，从而避免加载整个行的数据，这大大减少了I/O操作，提高了查询效率。 3. Parquet作为大数据时代下最流行的列式存储格式，很多分布式数据库都支持将Parquet文件作为外部表，也有很多数据查询引擎与计算框架如Spark、Presto、MapReduce等都支持直接读取分析Parquet文件。 4. Parquet文件的设计满足了多种要求，包括高效的编码与压缩算法、跨平台的数据交换能力以及高性能支持。 5. Parquet文件的格式包括列的元数据和文件的元数据，通过文件元数据可以快速找到需要读取的列块，实现了数据与元数据一起写入文件，避免了需要进行更新的情况。 6. Parquet文件的读取分析可以通过常用的大数据分析引擎实现，如Apache Spark、Apache Drill、Apache Impala、Presto等。 7. Parquet文件的构建可以通过多种方式实现，比如使用Python提供的PyArrow库，可以快速地将数据存储为Parquet文件。 8. 列式存储在大数据时代的发展趋势受到关注，数据已经成为企业数字化决策与战略方向制定的一个可靠参考，而这些决策的数据支撑都是通过采集企业内外部各个系统的数据，然后汇聚到基于列式存储的数据仓库，最后通过多维分析、挖掘出来的。 9. 大规模的分布式数据系统中，同时处理大数据量的实时随机存取与批量分析是一个很复杂的问题，因此诞生了Lamda的架构，其中Parquet作为数据管道传递格式发挥着重要作用。