极客视点
极客时间编辑部
极客时间编辑部
113240 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:46
登录|注册

爱奇艺大数据分析平台的演进之路

讲述:杜力大小:2.53M时长:02:46
近日,爱奇艺高级技术经理杜益凡在 DataFun 发表的演讲中分享了爱奇艺大数据分析平台的演进之路。他表示,目前爱奇艺的业务线达到 20 多条,存量的设备信息达到 30 亿,每天处理的用户行为日志超过 300T。这种业务数据量对数据运维、开发人员提出了很高的要求。
1. 起始时代
爱奇艺刚刚起步时平台架构很简单,数据流从日志通过 RSYNC 流入到 Hive,然后通过脚驱动 Hive SQL 语句统计分析,结果导入到 MySQL,最后形成报表展示。
2. 魔镜时代
在魔镜系统中进行投递管理、投递验证,分析人员可以在魔镜系统上通过配置进行自助取数,不需要等待开发排期。
3. 通天塔时代
通天塔集合了整个爱奇艺技术部门所有数据、所有计算资源和服务框架,重新构建形成一个大数据平台框架。底层是大数据平台所用的计算资源;再往上层是开发平台层,主要负责工作流开发;最上层就是直接面向用户的分析报表平台。
4. 工作流管理与开发方式的演变
刚开始的时候在这方面投入不是很大,使用 Crontab 直接驱动数据处理脚本运行。之后,他们利用 Shell 写了一个框架,可以自动批量维护很多计算。随着业务发展又无法满足需求,引入了 Linkedin 公司的开源工作流调度器 Azkaban。
5. 爱奇艺 BI
爱奇艺 BI 平台是一个很大的平台系统,报表只是其中的一部分,最核心的部分就是对不同业务线进行拆分。在前期的基础上,之前从 SQL 语句开始配置是基于开发的思路,现在是从报表构建的思路去配置,先配置报表的雏形,然后详细配置报表的各个组件,这种方式更加符合数据分析者的思路。
6. 魔镜与庖丁刃
魔镜是通过勾选配置的方式写 SQL 达到取数的目的,通过定义指标、选取维度、定义详细的条件、排序方式,通过勾选方式生成 SQL,最后落在 SQL 执行的引擎上。庖丁刃就是提供给用户一个 SQL 编辑的工具,同时还提供一些数据源的管理。
7. 莫奈系统
莫奈系统目标是只需要鼠标如作画般划过屏幕,就可以进行大数据分析,将抽象数据变成画作。
8. 爱奇艺大数据分析体系
该体系集成了 BI 报表、莫奈分析、魔镜与庖丁刃和分析工具。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • alex
    终究数据分析是为业务服务的,图表分析是业务使用最多的功能,同时也是数据分析价值的体现
    1
  • 渡码
    大数据的核心应该强调分析能力,弱化报表能力
收起评论
显示
设置
留言
2
收藏
54
沉浸
阅读
分享
手机端
快捷键
回顶部