彭渊，腾讯 T4 专家 资深架构师

内容介绍

对于腾讯庞大的大数据分析业务，几千台的 hadoop 集群近百 P 级的存储总量，每日全网 app 产生千亿的消息数据入库，需要针对几十亿 iemi 手机设备去重，并关联数百亿的历史全表，进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析，当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 hive sql，给集群造成很大压力，系统负载高任务积压重，计算耗时久业务响应慢（t+1），难以及时反馈市场信息的变化，不仅是技术上的巨大挑战，同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈？本分享内容将带来腾讯大数据技术的新发展和架构实践，介绍基于自研 bitmap 技术的大数据系统“锋刃”，以及 olap 全新驱动模式的架构战略，真正做到秒级实时查看每分钟指标、全维度的用户 olap 自助分析、闭环的动态运营体系。

内容大纲

1. 流处理 bitmap 的大数据实时分析架构和落地实践
2. 自研 bitmap 引擎和 RoaringBitmap 的对比优势
3. 腾讯灯塔业务场景实施
4. 腾讯天玑业务场景实施
5. 腾讯浏览器 ABtest 业务场景实施
6. 海量大数据的 rolap 和 molap 架构实践