爱奇艺大数据分析平台的演进之路
极客时间编辑部
讲述:杜力大小:2.53M时长:02:46
近日,爱奇艺高级技术经理杜益凡在 DataFun 发表的演讲中分享了爱奇艺大数据分析平台的演进之路。他表示,目前爱奇艺的业务线达到 20 多条,存量的设备信息达到 30 亿,每天处理的用户行为日志超过 300T。这种业务数据量对数据运维、开发人员提出了很高的要求。
1. 起始时代
爱奇艺刚刚起步时平台架构很简单,数据流从日志通过 RSYNC 流入到 Hive,然后通过脚驱动 Hive SQL 语句统计分析,结果导入到 MySQL,最后形成报表展示。
2. 魔镜时代
在魔镜系统中进行投递管理、投递验证,分析人员可以在魔镜系统上通过配置进行自助取数,不需要等待开发排期。
3. 通天塔时代
通天塔集合了整个爱奇艺技术部门所有数据、所有计算资源和服务框架,重新构建形成一个大数据平台框架。底层是大数据平台所用的计算资源;再往上层是开发平台层,主要负责工作流开发;最上层就是直接面向用户的分析报表平台。
4. 工作流管理与开发方式的演变
刚开始的时候在这方面投入不是很大,使用 Crontab 直接驱动数据处理脚本运行。之后,他们利用 Shell 写了一个框架,可以自动批量维护很多计算。随着业务发展又无法满足需求,引入了 Linkedin 公司的开源工作流调度器 Azkaban。
5. 爱奇艺 BI
爱奇艺 BI 平台是一个很大的平台系统,报表只是其中的一部分,最核心的部分就是对不同业务线进行拆分。在前期的基础上,之前从 SQL 语句开始配置是基于开发的思路,现在是从报表构建的思路去配置,先配置报表的雏形,然后详细配置报表的各个组件,这种方式更加符合数据分析者的思路。
6. 魔镜与庖丁刃
魔镜是通过勾选配置的方式写 SQL 达到取数的目的,通过定义指标、选取维度、定义详细的条件、排序方式,通过勾选方式生成 SQL,最后落在 SQL 执行的引擎上。庖丁刃就是提供给用户一个 SQL 编辑的工具,同时还提供一些数据源的管理。
7. 莫奈系统
莫奈系统目标是只需要鼠标如作画般划过屏幕,就可以进行大数据分析,将抽象数据变成画作。
8. 爱奇艺大数据分析体系
该体系集成了 BI 报表、莫奈分析、魔镜与庖丁刃和分析工具。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
- alex终究数据分析是为业务服务的,图表分析是业务使用最多的功能,同时也是数据分析价值的体现1
- 渡码大数据的核心应该强调分析能力,弱化报表能力
收起评论