当前播放: 如何避免HDFS存储文件数爆炸？
00:00 / 00:00
1.0x
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.5x
网页全屏
全屏
00:00
付费课程，可试看
如何避免HDFS存储文件数爆炸？
冯明潇 有赞大数据工程师
60次播放
讲师介绍：冯明潇，有赞大数据工程师，负责HDFS存储、离线计算等相关工作。问题背景：HDFS文件数的大量增长，会导致NameNode内存消耗日益增加，同时也会导致服务稳定性急速下降。为了提高服务器稳定性，避免HDFS存储文件数爆炸，我们需要一种行之有效的方式诊断集群现状、降低小文件数量。内容看点：如何控制HDFS文件数量增长？FSimage元数据分析通过扩展SparkSQL的方式来合并Hive表文件
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论
我的每日一课VIP
每日一课VIP
0.1元 畅看850+技术视频
开通
相关推荐
39743:13
智能业务运维驱动企业高效增长
张涛 听云CEO
试看
83244:47
SnappyData在美团酒店实时数据分析中的应用
焦向 美团点评高级技术专家
试看
125438:28
用Kafka Streams搭建实时的广告消费系统
陈博玚 Pinterest广告系统架构工程师
试看
51041:54
无人店之人脸识别技术探讨
王止观 苏宁美国研究院高级构架师
试看