调度系统实践
2021.3.8 第二十六期
开通VIP
共2个视频· 1076热度
出品人简介
avatar

赵健博

赵健博,大数据领域专家,快手大数据架构团队的负责人,目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。2009 年毕业于中国科学院计算所,曾就职于百度、奇虎360、58集团。主要研究领域包括分布式计算、调度与存储系统等。
专题简介

调度系统的应用可以追溯到 20 世纪 70 年代分时系统的进程调度上。之后随着大规模集成电路工艺技术、计算机网络技术以及人工智能技术的飞跃发展,调度系统在多个技术与业务领域中得到了非常广泛地应用。

在分布式资源调度管理领域,YARN 和 K8s 已经有了很大的发展,此外,新兴开源项目 YuniKorn,尝试用一个通用资源调度器,同时支持无状态批处理任务以及状态服务的混合调度。

在工作流调度系统领域,各大互联网公司都自研了面向公司需求的工作流调度系统,其能力与性能相比于开源项目,如 Airflow、Azkaban、Oozie 等,都有极大的提升。在配送、打车业务场景下,如何匹配骑手与订单,如何匹配乘客与司机才更高效,帮助公司获取更大利润。

在 CDN 流量调度业务场景下,如何对流量进行调度,才能获取更好的用户体验,帮助公司获取更多的用户与粘性。这些都是特定的业务场景下,求解关于有限资源的智能调度的方案。

本专题将邀请一线互联网公司专家分享相关业务与技术场景下,调度系统应用的案例与技术实践。

展开
视频列表共2个视频
480
25:54
面向机器学习场景的资源调度实践
李晓鹏 美团点评资深软件工程师
596
32:02
大数据场景下的工作流编排调度系统实践
方传云 字节跳动高级软件工程师
我的大厂案例VIP
大厂案例VIP
学习大厂前沿案例 向行业领先迈进
开通
更多专题
服务治理架构演进
2020.9.7 第一期
共4个视频· 8307热度
融合趋势下的大数据技术
2020.11.9 第十期
共8个视频· 6797热度
数据平台建设
2021.2.1 第二十一期
共5个视频· 6561热度
移动架构以及前端工程化
2020.11.2 第九期
共6个视频· 5976热度