两大巨头合并，Hadoop真的要死了吗？
极客时间编辑部
讲述：丁婵大小：1.34M时长：02:56
最近，大数据领域的两大巨头公司 Cloudera 和 Hortonworks 宣布合并，一时间热议无数。然而，一些人开始提出一些相当尖锐的问题，比如合并是否意味着 Hadoop 的死亡。本文作者亚历克斯·伍迪（Alex Woodie）认为，答案可能是否定的。
Anaconda 产品和营销高级副总裁马修·洛奇（Mathew Lodge）表示，大数据的中心已经从 Hadoop 转移到了云端，在对象存储系统（如亚马逊 S3、微软 Azure Blob Storage 和 Google Cloud Storage）中的存储数据比在 HDFS 中便宜了五倍。
他认为，领先的云计算公司并没有在 Cloudera 和 Hortonworks 上运行大型的 Hadoop 和 Spark 集群，相反，他们在容器基础设施上运行分布式云规模数据库和应用程序，而现在，是时候让 Hadoop 和 Spark 与时俱进了。
事实上，Apache Hadoop 社区一直都在积极应对来自公有云供应商的威胁。在今年早些时候发布的 Hadoop 3 中，用户可以选择使用擦除编码（erasure coding），这是 S3 等对象存储系统使用的数据保护技术，可以将存储效率提高 50％。
Hadoop 3.1 将会为 YARN 中的 Docker 带来更强劲的支持。在宣布合并之前，Cloudera 和 Hortonworks 都在努力让他们的 Hadoop 发行版支持 Kubernetes。
但是，对于 Hadoop 社区来说，他们还有很多工作要做。Cloudera 首席战略官迈克·奥尔森（Mike Olson）表示，社区还需要 12 到 24 个月，才能在开源的 Apache Hadoop 项目中提供 Kubernetes 支持。
他表示，YARN 擅长长期运行的批次作业调度，但是要作为通用的集群资源管理框架，它还需要精心的设计和改进。未来 Kubernetes 将会入驻，并接管其中的一大部分内容。
于是问题来了，当 YARN 被 Kubernetes 取代，并且 HDFS 被替换为任何兼容 S3 的对象存储系统时，Hadoop 还会是原来的 Hadoop 吗？
从实际角度来看，客户不可能因为两个最大的 Hadoop 发行商的整合而突然关闭多年来部署的数百万个 Hadoop 节点。对于已经建立了 Hadoop 数据湖的数千家公司而言，它们的重点将保持不变，那就是从数据中获取价值。
尽管 Hadoop 可能已经变成了一项传统技术，但是社区仍然有动力去调整它，以便支持新兴的需求，就像 IBM 对其大型机平台所做的那样。问题是它是否能够以足够快的速度，让已经部署的基础设施不断增长。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论