大数据应用实战
曹犟
神策数据联合创始人 & CTO
1179 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 18 讲/共 30 讲
大数据应用实战
15
15
1.0x
00:00/00:00
登录|注册

16|资源调度:有限的资源如何让所有用户都满意?

你好,我是曹犟。
在上一节课中,我们学习了数据血缘,了解了如何追踪数据的来龙去脉,快速定位问题的根源。但是,即使有了完善的数据血缘体系,如果资源调度出现问题,整个数据系统依然无法正常运转。
今天,我们就来讨论数据平台治理中的另一个关键问题——资源调度。

资源调度的本质与挑战

对于一个典型的大数据平台而言,资源永远都是有限的,但需求却会一直增长。特别是系统越好用,需求就增长越快。从神策日常服务客户的经验来看,相当大一部分系统使用上的问题,最终都可以归因为资源调度类的问题。
而要解决资源调度的问题,首先需要理解资源调度的本质,以及大数据平台在资源调度上面临的独特挑战。
在大数据平台中,资源主要包括计算资源(CPU、内存、GPU 等)和存储资源(磁盘 I/O、网络带宽)。对这些资源的争夺,往往体现在任务优先级与 SLA 上:不同的任务有不同的重要性和时效性要求。
而资源调度要解决的核心问题是:在资源有限的情况下,如何分配资源,既能保障核心业务的 SLA,又能让所有用户都能得到合理的资源,同时还要提高整体的资源利用率,控制成本。简单来说,就是在多个不同类型任务竞争有限资源时,决定谁先用、谁后用、谁用多少的问题。
相比传统的应用系统,大数据平台的资源调度有一些独特的特点和挑战。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 大数据平台资源调度的挑战:资源有限,需求增长;任务类型多样,资源需求差异大;时间维度的资源冲突。 2. 资源调度的核心策略:公平调度、容量调度、优先级调度,通常采用多种策略的混合调度方案。 3. 任务调度系统的核心能力:定时调度、事件触发、任务依赖关系管理、失败重试与告警机制、任务执行监控。 4. 选择任务调度系统的考量因素:技术栈、使用习惯、云平台集成、系统成熟稳定性和社区活跃度。 5. 资源监控指标包括计算资源指标和任务执行指标,需要实时采集并通过可视化展现。 6. 资源优化方法包括识别低效任务并优化、调整任务并发度、存算分离降低成本。 7. 某股份制银行的资源调度实践:资源调度不仅是技术问题,更是业务优先级管理问题;分层分级、分时分段的精细化调度策略,配套监控、告警、优化机制,并通过资源配额、成本透明化让各部门建立合理使用资源的意识。 8. 资源调度技术的未来发展:AI 技术可以基于历史数据预测资源需求,自动调整调度策略,实现自适应调度,大大减少人工干预;云厂商已经在探索 AI 驱动的资源调度,未来 AI 在资源调度中的应用会越来越广泛。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大数据应用实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • 大寒
    思考题一:因为这块我参与进来的时候已经基本稳定运行时期了,对这块的实践有限,只能说下自己所观察到的地方。我认为目前的挑战在于低峰期计算资源如何利用起来以及由于降本带来的整体资源有限这两方面。资源总量不足会让人无奈,比如在高峰期无法承载过多实时任务(而这些任务又是新业务不可缺少的向前迭代环节),目前的做法更多是拆东墙补西墙,也逼迫自己的团队内部去进一步有效缩减成本,但是潜在影响就是有些历史数据会无法被准确完全追溯了,这也是一个权衡点。低峰期资源利用也由于公司规模缩减造成各方面查询都在萎缩,目前看也只能闲置,从我个人来讲这段时间可能是我用来接触推荐等内容的契机(因为资源充裕),目前也只能想到这些了。 思考题二:这个我有点接触,主要是yarn,分配对象是数据团队+智能运营团队。我会根据整体任务特点来进行处理,比如数据团队是大量的批任务+少量流任务,且整体任务量大;智能运营团队任务不多,但是每个都是大任务;而日常大数据查询人员会在工作时段查询。基于此会首先保障数据团队的批任务(天数仓及其下游),分配较大容器并且在0-9点不可抢占,然后给智能运营团队分配剩余中的大部分份额且让其在10-23可抢占别的队列,最后少量容器分配给个人用作查询,且不抢占其他队列 思考题三:预算允许的情况下加资源,预算不允许的情况下优先保障营销活动,暂停部分日常ETL任务,比如维度表同步等。
    2025-11-28归属地:北京
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部