Apache Hadoop 3.1.0发布，支持GPU和FPGA
极客时间编辑部
讲述：丁婵大小：1.31M时长：02:52
近日，Apache Hadoop 正式发布了 3.1.0 版本，这是 2018 年 Hadoop 3.x 系列的第一个小版本，与 Hadoop 3.0 相比有了一些重大的变化。
需要注意的是，这个版本还不能适用于生产环境，如果需要在生产环境下使用，就需要等待 3.1.1 或 3.1.2 版本。
这次 3.1.0 版本发布的重大意义在于，它支持 GPU 和 FPGA 了。据了解，这个版本带来的重大变化具体包括：
Yarn Service 服务框架可以为在 YARN 上长期运行的服务提供支持，作为一个容器编配平台，来管理运行在 YARN 上那些被容器化的服务，支持 Docker 容器和传统容器。
YARN 支持基于 GPU 的调度和隔离（Docker 和非 Docker 容器）。
YARN 支持基于 FPGA 的调度和隔离（Docker 和非 Docker 容器）。
在 YARN 中支持更多的配置约束。这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，如服务、机器学习和流式工作负载。在同一机架上调度有关联的任务（相似性约束）可以降低网络成本，在机器之间分配任务（反亲和约束）以便降低资源干扰，或者限定特定节点组的任务数量（基数约束），以在两者之间取得平衡。
支持管理员为队列指定具体数目的资源，比如具体的内存数量、vcore 核数、GPU 等，而不是提供基于百分比的值，这让管理员能够更好地控制给定队列配置所需要的资源。
该版本提供的存储允许将存储在 HDFS 之外的数据映射到 HDFS，并从 HDFS 进行寻址。这是一种异构存储，可以通过向 DataNode 中引入新的存储类型 PROVIDED 来实现。
Hadoop 社区修复了 768 个在 JIRA 记录的问题。
在 2017 年 9 月，Gartner 发布的一份关于数据管理的技术成熟度曲线显示，由于整个 Hadoop 堆栈的复杂性和可用性的问题，许多组织已经开始重新考虑他们在信息基础架构中处于何种角色。
Gartner 认为，Hadoop 的已发行版本已经被淘汰出局，没有进入实质生产的高峰期 （Plateau of Productivity）。与此相对，企业正在寻求其他更有竞争力、更加便捷的基于云的产品。
Hadoop 是否真的老矣？此次 3.1.0 版本发布的几项重大改进，能否给这个老牌大数据平台带来新的活力？你怎么看？
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
李孟hadoop对维护人员有很强的依赖关系
收起评论