技术与商业案例解读
徐飞
前华为云资深总监,大数据专家
36415 人已学习
新⼈⾸单¥68
登录后,你可以任选6讲全文学习
课程目录
已完结/共 164 讲
技术与商业案例解读
15
15
1.0x
00:00/00:00
登录|注册

091 | Databricks之Spark的数据金砖王国

说起大数据的创业公司,我们一定都会提到 Databricks 这公司,而这家公司知名的原因,一大部分来自于它的开源产品 Spark。Spark 是 Hadoop 生态圈里大红大紫的项目,事实上,它甚至已经取代了新一代的经典运行框架:Hadoop MapReduce。
所以,想要了解 Databricks 这家创业公司,我们就需要先了解 Spark 这个 Apache 开源项目。Spark 是一个大数据计算框架,它诞生于加州大学伯克利分校 AMP 实验室,是当时的博士生马泰·扎哈里亚(Matei Zaharia)的博士论文课题。
2010 年,Spark 在 BSD License 下开源。经过几年发展以后,在 2013 年成立了 Databricks,同年,它被 Databricks 捐献给 Apache 基金会,并将开源模式转向了 Apache 2.0,从此,Spark 正式成为 Apache 家族里顶级开源项目之一。
Spark 是目前整个 Hadoop 的生态系统里最为活跃的计算框架,它已经取代了 Hadoop 原来 MapReduce 框架的地位,目前,只有 Flink 的计算框架尚能与它平分秋色(有关 Flink 的情况,我们会在后面的文章里详细介绍)。
Spark 框架下支持 SQL、机器学习、图计算、流计算等各种各样的计算模型,应用起来十分广泛。它不仅在开源社区里广受追捧,在大公司里也常常被拿来应用,IBM 现在已经把自己的大数据计算引擎押宝在 Spark 上了。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《技术与商业案例解读》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • geduo4612
    为什么说jvm会影响深度学习的性能呢?

    作者回复: 不能用在GPU上

    2
  • 小孙
    flink也很老了,并没有哪个站在哪个的肩膀上,spark真正牛逼的还是在sql这块,structed streaming很好的嫁接在了spark sql上,一套处理逻辑可以无缝在流处理和批处理上迁移,不像flink两套接口,
    3
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部