Apache基金会发布Hadoop 3.0.0版本
极客时间编辑部
讲述:丁婵大小:1.31M时长:02:52
近日,Apache 软件基金会(ASF)宣布推出 Apache Hadoop v3.0.0 最新版本,用于可靠、可扩展的分布式计算开源软件框架。
在过去的十年中,Apache Hadoop 被广泛应用于大数据生态系统中,让公司能够在分布式计算环境中的大型硬件集群上,运行和管理数据应用程序。它的份额在每年规模达 1000 亿美元的大数据市场中占比超过一半,保持了长达十年的领先地位。
Apache Hadoop 副总裁克里斯·道格拉斯(Chris Douglas)说道:“这个最新版本是 Apache 社区多年开发的成果。该平台随着硬件发展趋势的发展不断改进,除了批量分析外,还能适应更大的工作负荷,特别是实时查询和长期运行的服务。“
Apache Hadoop 3 发布经理安德鲁·王(Andrew Wang)表示,Hadoop 3 是该项目的一个重要里程碑,也是迄今为止最重要的发布版本,它凝聚着自 Hadoop 2 发布五年以来数百名工作人员的共同努力。
据介绍,Apache Hadoop 3.0.0 主要有以下亮点:
HDFS 擦除编码:HDFS 的存储成本降低一半,同时提高数据持久性 ;
YARN 时间轴服务 v.2 预览版:提高时间轴服务的可扩展性、可靠性和可用性 ;
YARN 资源类型:能够调度附加资源(如磁盘和 GPU),以便更好地与机器学习和容器工作负载结合 ;
YARN 和 HDFS 子集群结合将 Hadoop 透明地扩展到数以万计的计算机中 ;
随机容器执行提高了资源利用率,并提高了短期容器的任务吞吐量,除了传统的中央调度程序外,YARN 还支持随机性容器的分布式调度 ;
云存储系统,如 Amazon S3(S3Guard)、微软 Azure Data Lake 和阿里云存储系统的功能和性能得到提升。
经过大范围测试,Hadoop 3.0.0 已经与 Apache 软件基金会更广泛的开源生态系统充分结合,广泛应用在全球众多企业和机构中,如 Adobe、阿里巴巴、亚马逊网络服务等。
Apache Hadoop 的创始人之一道格·卡廷(Doug Cutting)说道:“从十一年前的原始工具,到今天发布的成熟软件,Hadoop 更好地满足了企业数据系统的需求,开源社区也将继续响应工业的需求。”
同时,Apache Hadoop 的多元化社区也是 Apache 软件基金会最活跃的项目之一,活跃度持续增长,是三十多个 Apache 大数据项目中的前沿技术。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- 神龙ec 翻译成 纠删码 是不是更合适?
收起评论