技术与商业案例解读
徐飞
前华为云资深总监,大数据专家
36771 人已学习
新⼈⾸单¥68
登录后,你可以任选6讲全文学习
课程目录
已完结/共 164 讲
技术与商业案例解读
15
15
1.0x
00:00/00:00
登录|注册

071 | 谷歌的大数据路:一场影响深远的论战

不兼容数据库系统用户已依赖的工具
缺乏创新性
毫无效率
需要写大量C++或Java程序
MapReduce的不足之处
谷歌“三驾马车”中MapReduce和BigTable的主要研发者
谷歌工程师
并行数据库系统和算法的提出者
微软技术院士
美国威斯康辛大学的教授
2015年获得图灵奖
列存数据库C-Store和商用版Vertica的开发者
开源数据库系统Postgres的最早开发者
关系数据库系统Ingres的研发者
结合两者的精华,又有自己的创新
不同于数据库和MapReduce
加州伯克利大学AMP实验室的人发明了Spark
人们对两方观点进行认真思考
ACM的刊物介入
大卫在SIGMOD大会发表《大规模数据分析方法对比》
影响学术圈的政治问题
两年之久
文章主要观点
迈克尔、大卫及朋友发表“MapReduce:一个巨大的倒退”一文
杰夫 · 迪恩
大卫 · 德威特
迈克尔 · 斯通布雷克
Spark归属于Databricks
Spark的成功
AMP实验室的教授们决定吸取MapReduce和数据库系统两方的精华,抛弃不合理的地方,从头开始构建一个大数据计算引擎
论战影响
论战演变
论战爆发
两方人物介绍
Spark的诞生
争议影响深远
螳螂捕蝉黄雀在后,Spark在MapReduce和数据库的争战中诞生

该思维导图由 AI 生成,仅供参考

在大数据发展史上有过一场非常著名的论战,这场争议影响深远,值得大书特书:其中一方是数据库领域的元老级人物迈克尔 · 斯通布雷克(Michael Stonebraker)和大卫 · 德威特(David Dewitt)。另外一方是主导了谷歌技术发展的杰夫 · 迪恩(Jeff Dean)。这两群人就谷歌“三架马车”之一的 MapReduce 和数据库到底谁好谁坏,争得不可开交。
在讲述这段故事之前,我先来介绍一下两方的人物。迈克尔是数据库领域的元老级人物,也是这场争议发起者。我们通常把数据库领域的人分为搞理论研究的和做数据库系统研究的两类,而迈克尔当之无愧是数据库系统研究领域最具影响力的人,没有之一。
迈克尔做过很多具有开拓性的事情,这里我就不再一一列举了,拣最最重要地来说。
迈克尔是第一个关系数据库系统 Ingres 的研发者,还是开源数据库系统 Postgres 最早的开发者。Postgres 是目前开源数据库里面最具影响力的项目之一,只有 MySQL 勉强可以匹敌。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

Spark的诞生:MapReduce与数据库的辩论引发的技术革新 大数据领域曾发生一场激烈的论战,围绕着MapReduce和数据库系统的优劣展开。数据库领域的元老级人物迈克尔·斯通布雷克和大卫·德威特认为MapReduce在查询数据时需要编写大量的C++或Java程序,缺乏效率和创新性,不兼容数据库系统用户已经依赖的工具。然而,MapReduce提出了在海量的普通廉价个人计算机上进行稳定的大规模并行计算所需的技术,解决了传统数据库系统需要高端机器运行的问题。 这场论战持续了两年之久,影响深远,甚至引起了学术圈的政治问题。最终,这场论战促成了Spark的诞生,成为MapReduce的替代品,解决了MapReduce的一些缺点,同时继承了其优势。Spark不同于数据库和MapReduce,而是两者的结合,并带来了自己的创新。 这场争论的深远影响在于引发了对大数据处理技术的重新思考和创新,推动了大数据领域的发展和进步。AMP实验室的教授们吸取了MapReduce和数据库系统两方的精华,抛弃了不合理的地方,从头开始构建了Spark,这一技术革新为大数据领域带来了新的可能性。 因此,Spark的诞生不仅是对MapReduce和数据库系统的辩论的结果,更是一次技术革新的产物,为大数据处理技术的发展开辟了新的道路。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《技术与商业案例解读》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(6)

  • 最新
  • 精选
  • 葱头巴巴
    Spark 距离那场争论历史太久远,说是这场争论的结果,有点太牵强。

    作者回复: spark的负责人之一在VLDB2017上这么说的,人家自己都这样认为,谈不上牵强。

    2019-05-04
  • spark是创新,mr只是并行数据计算,它不考虑效率问题,之前很久大量数据是没办法算的很无奈,mr只做到了可以算,从无到有不错了,从有到快他不考虑
    2018-05-20
    5
  • progyoung
    这次论战收获颇丰啊,有不同意见就该表达出来
    2019-04-22
    2
  • SnowsonZ
    所以,论战的结果是,各有得好,spark取其精华去其糟粕?
    2020-02-01
    1
  • 拉欧
    确实spark降低了大数据研发的门槛,以前需要大量的写MapReduce程序,现在只要会写SQL就可以了
    2019-05-30
    1
  • 火云邪神霸绝天下
    在我看来,这更多的就是政治立场的不同了。 怎么突然到政治立场了?
    2018-10-26
收起评论
显示
设置
留言
6
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部