技术与商业案例解读
徐飞
前华为云资深总监,大数据专家
36771 人已学习
新⼈⾸单¥68
登录后,你可以任选6讲全文学习
课程目录
已完结/共 164 讲
技术与商业案例解读
15
15
1.0x
00:00/00:00
登录|注册

083 | 阿里巴巴的大数据故事:流计算引擎发展史

未开源,但与Flink开发者保持友好关系
在阿里巴巴内部改进为Blink
Flink是德国柏林工业大学设计的流计算引擎
未成为Apache基金会的顶级项目
2015年捐赠给Apache基金会
解决了Storm存在的问题
用Java进行开发
由Storm二次开发而来
合作需要持续的互动和交流
贡献代码的同时需要给予社区主要贡献者足够的尊重
仅仅提供代码不够
所有流计算引擎的开发和维护资源都会集中到Blink上
未来Blink会是阿里巴巴集团统一的流计算引擎
不同的合作态度决定了两个项目的不同结果
Flink团队和阿里巴巴团队互补性强
Flink是后起之秀,需要大客户支持
Flink和Blink
JStorm
流数据处理平台有多套
与开源社区的交流教训
阿里巴巴内部流计算引擎的发展
JStorm和Blink的不同结果原因
JStorm和Blink对阿里巴巴产生深远影响
阿里巴巴的流数据处理在业务中很重要
阿里巴巴的大数据之路:JStorm与Blink的发展史

该思维导图由 AI 生成,仅供参考

在阿里巴巴的发展过程中,流数据处理一直是业务中很重要的一部分。和数据分析平台不一样,阿里巴巴内部的流数据处理平台有很多套。
在阿里巴巴的流数据发展历程里,有两个著名的流引擎 JStorm 和 Blink 依然还在产生着深远的影响。这种影响并不仅仅在阿里巴巴集团的内部,并且扩散到了全球的开源世界。比起其他用于集团内部的流计算引擎,它们更被人所熟知,今天我们就来重点分析一下这两个流计算引擎的发展。
我们先来说说 Storm 和 JStorm
Storm 是被 Twitter 收购以后才开源出来的流计算引擎。阿里巴巴集团是在封仲淹带领的团队下才开始使用 Storm 的。
我在之前讲 Storm 的时候说过,这种流计算引擎是用一种比较小众的函数式编程语言 Clojure 开发出来的。国内的 Clojure 专家屈指可数,因此阿里巴巴使用 Storm 时遇到了很多的问题。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

阿里巴巴的大数据之路:JStorm与Blink的发展史 阿里巴巴在大数据处理领域一直处于领先地位,其流数据处理平台的发展历程中,JStorm和Blink两大流计算引擎产生了深远影响。JStorm是基于Storm的二次开发产物,解决了Storm存在的问题,并在2015年捐赠给了Apache基金会。然而,JStorm在Apache孵化器中未能成为顶级项目,可能与阿里巴巴与Storm社区间的矛盾有关。 另一方面,Flink是德国柏林工业大学设计的流计算引擎,被阿里巴巴用于生产环境,并进行了大量改造,形成了Blink。Blink团队与Flink的开发者保持友好关系,不断将功能反馈到Flink的代码库中。相比之下,JStorm和Blink在与开源社区的互动和影响方面有着不同的结果。 文章指出,Flink团队和阿里巴巴团队的互补性较强,且合作态度更为友好,这或许是Blink取得成功的原因之一。另外,JStorm采用了一种可能得罪人的重写方式,而Blink在贡献代码时则与Flink团队进行了仔细协商,这种合作态度可能对项目结果产生了影响。 最新消息显示,阿里巴巴将统一其流计算引擎,未来Blink将成为集团内部统一的流计算引擎,其他引擎业务将逐步迁移至Blink。这一决定表明,与开源社区合作需要持续的互动、交流和对社区贡献者的尊重。 总之,本文通过阐述JStorm和Blink的发展史,以及阿里巴巴与开源社区的互动,强调了合作态度对项目结果的重要性,为读者展现了阿里巴巴在大数据领域的技术特点和发展趋势。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《技术与商业案例解读》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(5)

  • 最新
  • 精选
  • Mingjie
    百度作为一个靠搜索起家的公司,没有和Google类似的大数据存储吗?

    作者回复: 有,但是没完全自研的

    2019-08-24
    1
  • 需要多元化,就像谷歌的三架马车,微软的两只脚,从自身卖点出发,寻找相切合的项目,有资金有技术可以自己研究,有资金没技术可以去市场寻找购买(最简洁)。

    作者回复: 阿里巴巴的技术投入还是很牛逼的

    2019-05-29
    1
  • caohuan
    尊重作者,在开源软件 中 也需要 尊重知识产权 这样 才有 和谐的合作,丰富 开源社区,工业界 与 科技界 相互补充 促进 开源的繁荣。
    2018-12-09
    1
  • songyy
    真是一个EQ影响开源项目的好例子 😁
    2018-08-08
    1
  • 村长@极客时间
    那以前JStorm业务上的人会不会被淘汰掉?
    2019-02-24
收起评论
显示
设置
留言
5
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部