王坚自研的MaxCompute有何优势?
极客时间编辑部
讲述:杜力大小:1.99M时长:02:11
十年前,王坚带着解决大规模算力瓶颈的任务加入阿里。他发现,无论是 Oracle 还是 Greenplum、Hadoop,都不是大规模数据计算的最优解,必须自研一套自己的大数据处理平台。2009 年这项关于大数据的技术长征开始。王坚带队,目标是自研大数据计算平台 MaxCompute 统一阿里巴巴内部的数据和大数据计算体系。
如今,MaxCompute 已经可以承载 EB 级别的数据存储能力、百 PB 级的单日计算能力。在 2018 Forrester 云数仓产品能力排行中,阿里云 MaxCompute 成功入选,并在产品功能(Current Offering)方面力压微软。另外,从线上到线下,从生产制造到互联网电商,从国内到海外,MaxCompute 的计算能力正在延伸到各行各业,极大地降低了社会的计算成本。
通过大数据计算平台,可以让订单实时准确汇聚,也可以精准预测变幻莫测的天气变化,各行各业都在大规模使用大数据来提供更好的服务,而实现这一能力就是海量数据分析的结果。 但要处理好这些数据并不容易。除了数据量的剧增,不同行业数据类型丰富多样,如结构化数据、非结构化数据等,都给大数据计算平台带来了新的挑战。
MaxCompute 的创新之处就是采用了 Datalake 技术,把不同的数据源用类似的方式存储,用统一的方法计算,提供一套标准化语言,快速实现不同类型数据的计算。
如何快速“查询”也是大数据计算的核心之一。MaxCompute 采用“交互式查询”来解决海量数据查询慢的瓶颈,通俗地说就是系统可以预判用户将会做哪些查询,提前准备,大大降低大规模数据查询的时间。
此外,MaxCompute 提出多租户云安全隔离技术,突破传统大数据平台的安全局限,将安全边界细化到用户、进程、内核级别,完全满足金融级的安全需求。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论