Hadoop 衰败的 4 大趋势
极客时间编辑部
讲述:丁婵大小:1.15M时长:02:31
最近,Cloudera 和 Hortonworks 宣布“平等合并”,这笔交易意味着 Hadoop 市场再也维持不了两大竞争对手。多年来,Hadoop 一直就是大数据的代名词,但市场和客户需求已然发生了变化,以下几个大趋势共同推动了这个变化。
第一大趋势是向公共云转变。
大大小小的公司都在加大采用 AWS、Azure 和谷歌云等云服务的力度,内部部署的基础设施和软件沦为了牺牲品。据知名研究机构 IDC 和 Gartner 声称,企业服务器收入继续下滑。
如果你正在转向云计算,考虑替代的 Hadoop 产品作为其中的一部分是明智之举,这是一个自然而然的决策。
第二大趋势是云存储成本远低于 Hadoop 存储成本。
2005 年推出时,Hadoop 分布式文件系统(HDFS)是一个关键组件,让企业得以并行处理无法装入到单一台机器上的大规模数据集。现在,有众多便宜得多的替代方案,主要是对象存储服务,比如 AWS S3 和谷歌云存储。1 TB 的云对象存储每月只需 20 美元左右,而 HDFS 每月要花 100 美元左右(还不包括运营成本)。
第三大趋势是“Serverless”云服务的出现。
有了这种云服务,企业根本就不需要运行 Hadoop 或 Spark 了。Spark 的一个常见使用场合是为用户处理即席(ad-hoc)分布式 SQL 查询。
谷歌在 2011 年率先向市场推出了一种名为 BigQuery 的革命性服务,它以全然不同的方式解决了同样的问题。它让你可以对存储在其对象存储服务中的任何数量的数据运行即席查询(你没必要像 HDFS 那样装入到特殊的存储系统)。
第四大趋势是容器和 Kubernetes。
Hadoop/Spark 不仅仅是一个存储环境,还是一个计算环境。早在 2005 年,Hadoop 的 Map-Reduce 方法为 Java 应用程序的并行计算提供了一种框架。但是 Cloudera 和 Hortonworks 的基础设施具有以 Java 为中心的特性(Spark 以 Scala 为中心),这与今天的 Python 和 R 来搞机器学习的做法相冲突。需要不断地迭代和改进机器学习模型,并让模型学习了解生产数据,这意味着 Python 和 R 模型的原生部署必不可少,而不是“可有可无”。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论