俞育才,eBay 大数据架构师
eBay 使用 MPP 数据仓库已经有二十年的历史,eBay 的系统有 60PB 的数据,上万张的核心表,支撑着 eBay 最核心的商务逻辑和站点功能。从 17 年开始,eBay 将这个庞大的数仓向 Spark 做迁移,使用自己开发的工具,这其中 90% 的工作都可以自动化地完成,并且通过优化 Spark 框架,节省了一半的内存。本次演讲将分享这迁移过程中的实践,经验与优化。