阿里巴巴Blink正式开源,重要优化点解读
极客时间编辑部
讲述:丁婵大小:2.27M时长:02:29
在不久前的峰会上,阿里巴巴集团副总裁周靖人宣布 Blink 将于 2019 年 1 月正式开源,阿里希望通过 Blink 开源进一步加深与 Flink 社区的联动,并推动国内更多中小型企业使用 Flink。
近日,阿里巴巴资深技术专家王绍翾(花名:大沙)对 Blink 开源的方式、开源 Blink 的主要功能和优化点,以及未来规划给出了全面介绍。
基于 Blink 的计算平台于 2016 年正式上线。截至目前,阿里绝大多数的技术部门都在使用 Blink。Blink 一直在阿里内部错综复杂的业务场景中锻炼成长着。对于内部用户反馈的各种性能、资源使用率、易用性等诸多方面的问题,Blink 都做了针对性的改进。
本次开源的 Blink 代码在 Flink 1.5.1 版本之上加入了大量新功能,在性能和稳定性上进行了各种优化。
在架构方面,开发者可以根据不同计算模型或者新硬件的需要,实现不同的 shuffle 策略进行适配。此外,Blink 引入了新的调度架构,容许开发者根据计算模型自身特点定制不同调度器。
为了优化性能,Blink 可以让算子更加灵活的 chain 在一起,避免不必要的数据传输开销。它还提供了全新的 JM FailOver 机制,JM 发生错误之后,新的 JM 会重新接管整个 JOB 而不是重启 JOB,从而减少 JM FailOver 对 JOB 的影响。
最后,Blink 也开发了对 Kubernetes 的支持。不同于 Standalone 模式在 Kubernetes 上的拉起方式,在基于 Flink FLIP6 的架构上基础之上,Blink 根据 JOB 的资源需求动态的申请 / 释放 Pod 来运行 TaskExecutor,实现了资源弹性,提升了资源的利用率。
在资源使用方面,新增了 Cluster、TaskManager 与 JOB 三个级别的资源信息,使资源申请与使用情况一目了然。
未来,阿里将继续给 Flink 贡献在 AI、IoT 以及其他新领域的功能和优化。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论