172人学习
腾讯广告在大数据实时存储系统的实践
林兆祥 腾讯广告专家工程师
广告系统在决策过程中需要访问大量的用户画像、用户特征、用户广告行为等数据,而广告决策的速度直接影响广告的收入。因此提供海量数据实时访问是在线广告数据平台的核心设计目标。Marvel是腾讯广告在线数据存储系统,基于传统的LSM架构基础,我们进行了大量的优化调整,主要包括优化索引设计、优化I/O、优化compaction策略等。通过一系列优化设计,将数据访问平均延迟控制在亚毫秒级别,99.9%访问延迟控制在5ms级别,为在线广告实时服务提供了坚实的性能基础。演讲提纲Marvel在腾讯广告中的应用和定位实时性保证之索引设计实时性保证之I/O优化实时性保证之compaction调优听众受益了解大数据在提供亚毫秒级实时查询服务方面的挑战;了解基于SSD存储I/O优化实践;了解我们在访问实时性方面对传统LSM架构的优化和实践。