极客视点
极客时间编辑部
极客时间编辑部
113240 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:29
登录|注册

阿里巴巴Blink正式开源,重要优化点解读

讲述:丁婵大小:2.27M时长:02:29
在不久前的峰会上,阿里巴巴集团副总裁周靖人宣布 Blink 将于 2019 年 1 月正式开源,阿里希望通过 Blink 开源进一步加深与 Flink 社区的联动,并推动国内更多中小型企业使用 Flink。
近日,阿里巴巴资深技术专家王绍翾(花名:大沙)对 Blink 开源的方式、开源 Blink 的主要功能和优化点,以及未来规划给出了全面介绍。
基于 Blink 的计算平台于 2016 年正式上线。截至目前,阿里绝大多数的技术部门都在使用 Blink。Blink 一直在阿里内部错综复杂的业务场景中锻炼成长着。对于内部用户反馈的各种性能、资源使用率、易用性等诸多方面的问题,Blink 都做了针对性的改进。
本次开源的 Blink 代码在 Flink 1.5.1 版本之上加入了大量新功能,在性能和稳定性上进行了各种优化。
在架构方面,开发者可以根据不同计算模型或者新硬件的需要,实现不同的 shuffle 策略进行适配。此外,Blink 引入了新的调度架构,容许开发者根据计算模型自身特点定制不同调度器。
为了优化性能,Blink 可以让算子更加灵活的 chain 在一起,避免不必要的数据传输开销。它还提供了全新的 JM FailOver 机制,JM 发生错误之后,新的 JM 会重新接管整个 JOB 而不是重启 JOB,从而减少 JM FailOver 对 JOB 的影响。
最后,Blink 也开发了对 Kubernetes 的支持。不同于 Standalone 模式在 Kubernetes 上的拉起方式,在基于 Flink FLIP6 的架构上基础之上,Blink 根据 JOB 的资源需求动态的申请 / 释放 Pod 来运行 TaskExecutor,实现了资源弹性,提升了资源的利用率。
在资源使用方面,新增了 Cluster、TaskManager 与 JOB 三个级别的资源信息,使资源申请与使用情况一目了然。
未来,阿里将继续给 Flink 贡献在 AI、IoT 以及其他新领域的功能和优化。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
16
沉浸
阅读
分享
手机端
快捷键
回顶部