讲堂
部落
提薪训练营
Go进阶训练营
算法训练营2021版
企业版
极客商城
兑换中心
App下载
登录
注册
Sorry, your browser doesn't support embedded videos.
当前播放: 如何避免HDFS存储文件数爆炸?
00:00
/ 00:00
1.0x
2.0x
1.5x
1.25x
1.0x
0.5x
网页全屏
全屏
00:00
付费课程,可试看
如何避免HDFS存储文件数爆炸?
冯明潇 有赞大数据工程师
60次播放
讲师介绍:冯明潇,有赞大数据工程师,负责HDFS存储、离线计算等相关工作。问题背景:HDFS文件数的大量增长,会导致NameNode内存消耗日益增加,同时也会导致服务稳定性急速下降。为了提高服务器稳定性,避免HDFS存储文件数爆炸,我们需要一种行之有效的方式诊断集群现状、降低小文件数量。内容看点:如何控制HDFS文件数量增长?FSimage元数据分析通过扩展SparkSQL的方式来合并Hive表文件
登录
后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
我的每日一课VIP
每日一课VIP
0.1元 畅看850+技术视频
开通
相关推荐
397
43:13
智能业务运维驱动企业高效增长
张涛 听云CEO
试看
832
44:47
SnappyData在美团酒店实时数据分析中的应用
焦向 美团点评高级技术专家
试看
1254
38:28
用Kafka Streams搭建实时的广告消费系统
陈博玚 Pinterest广告系统架构工程师
试看
510
41:54
无人店之人脸识别技术探讨
王止观 苏宁美国研究院高级构架师
试看