Uber开源数据流分析平台AthenaX
极客时间编辑部
讲述:丁婵大小:991.74K时长:02:07
近日,Uber 开源了数据流分析平台 AthenaX,这一平台旨在满足 Uber 日益增长的数据分析需求,并为每一个用户提供可访问的流分析能力。
Uber 在全球的业务快速增长,因此需要一套数据分析基础设施作为配合,从而能时刻收集来自世界各地的广泛分析结论,包括各个城市的特定市场状况以及全球财务流向估算等。
考虑到 Uber 的 Kafka 基础设施单日实时消息传输超过 1 万亿次,这套平台必须具备以下几个特征。首先,要能轻松为各类用户提供导航服务,而不需要对他们的技术背景提出要求;其次,要能以可扩展及高效的方式分析实时事件;最后,要极为强大,可持续支持成百上千项关键性任务。
面对这样的需求,Uber 构建了数据流分析平台 AthenaX 并对其进行开源。AthenaX 的关键特征在于,用户仅利用 SQL 就可以运行全面的生产级流分析任务。SQL 使得事件流处理变得更为简单,它负责描述需要分析的数据,然后 AthenaX 确定如何分析数据并加以执行。
AthenaX 还能够将各查询编译为可靠、高效的分布式应用,同时管理该应用的完整生命周期,这就允许用户仅专注于最为核心的业务逻辑。AthenaX 大大简化了流分析任务处理方式,使得所有技术水平的用户都能将大规模流分析应用,快速引入到自己的生产环境中,帮助大家轻松构建起自己的数据流平台。
此外,AthenaX 还以端到端的方式管理各应用程序,具体包括持续监控其运行状态、根据输入数据大小自动进行规模伸缩,并且可以在节点或整体数据中心发生故障时,通过故障转移保证业务的正常恢复。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论