091 | Databricks之Spark的数据金砖王国
徐飞
说起大数据的创业公司，我们一定都会提到 Databricks 这公司，而这家公司知名的原因，一大部分来自于它的开源产品 Spark。Spark 是 Hadoop 生态圈里大红大紫的项目，事实上，它甚至已经取代了新一代的经典运行框架：Hadoop MapReduce。
所以，想要了解 Databricks 这家创业公司，我们就需要先了解 Spark 这个 Apache 开源项目。Spark 是一个大数据计算框架，它诞生于加州大学伯克利分校 AMP 实验室，是当时的博士生马泰·扎哈里亚（Matei Zaharia）的博士论文课题。
2010 年，Spark 在 BSD License 下开源。经过几年发展以后，在 2013 年成立了 Databricks，同年，它被 Databricks 捐献给 Apache 基金会，并将开源模式转向了 Apache 2.0，从此，Spark 正式成为 Apache 家族里顶级开源项目之一。
Spark 是目前整个 Hadoop 的生态系统里最为活跃的计算框架，它已经取代了 Hadoop 原来 MapReduce 框架的地位，目前，只有 Flink 的计算框架尚能与它平分秋色（有关 Flink 的情况，我们会在后面的文章里详细介绍）。
Spark 框架下支持 SQL、机器学习、图计算、流计算等各种各样的计算模型，应用起来十分广泛。它不仅在开源社区里广受追捧，在大公司里也常常被拿来应用，IBM 现在已经把自己的大数据计算引擎押宝在 Spark 上了。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《技术与商业案例解读》，新⼈⾸单¥68
《技术与商业案例解读》，新⼈⾸单¥68
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
geduo4612为什么说jvm会影响深度学习的性能呢？作者回复: 不能用在GPU上
2
小孙flink也很老了，并没有哪个站在哪个的肩膀上，spark真正牛逼的还是在sql这块，structed streaming很好的嫁接在了spark sql上，一套处理逻辑可以无缝在流处理和批处理上迁移，不像flink两套接口，3
收起评论