在字节跳动数据仓库领域，SparkSQL已经取代Hive成为了主要的计算引擎。目前SparkSQL每天处理千万亿级数据。数据引擎团队针对线上复杂的场景，以及用户对于稳定性及性能方面的需求，进行了大量的优化，包含SQL层优化、执行层优化、Shuffle优化、列式存储优化等。在字节跳动内部，列式存储在数仓领域广泛使用。目前字节跳动主推的列式存储格式是Parquet，同时存在部分使用ORC的场景。本次演讲，将介绍字节跳动数据引擎团队如何通过列式存储上的一系列优化加速SparkSQL从而更好支撑EB级数仓。内容大纲列式存储基本原理及常见优化方向（高效压缩、向量化读、LateMaterialization、InvisibleJoin）Parquet支持复杂数据类型向量化读及fieldpruning物化列大幅提升复杂数据类型的读取及过滤效率自定义Parquet索引LocalSort提升压缩比并优化查询性能IO并行化：并行读小文件，并行读大文件RowGroup异步Spill听众受益了解列式存储常见优化方法EB级数仓下列式存储优化实践