深入剖析Kubernetes
张磊
Kubernetes社区资深成员与项目维护者
立即订阅
22715 人已学习
课程目录
已完结 56 讲
0/4登录后，你可以任选4讲全文学习。
课前必读 (5讲)
开篇词 | 打通“容器技术”的任督二脉
免费
01 | 预习篇 · 小鲸鱼大事记（一）：初出茅庐
02 | 预习篇 · 小鲸鱼大事记（二）：崭露头角
03 | 预习篇 · 小鲸鱼大事记（三）：群雄并起
04 | 预习篇 · 小鲸鱼大事记（四）：尘埃落定
容器技术概念入门篇 (5讲)
05 | 白话容器基础（一）：从进程说开去
06 | 白话容器基础（二）：隔离与限制
07 | 白话容器基础（三）：深入理解容器镜像
08 | 白话容器基础（四）：重新认识Docker容器
09 | 从容器到容器云：谈谈Kubernetes的本质
Kubernetes集群搭建与实践 (3讲)
10 | Kubernetes一键部署利器：kubeadm
11 | 从0到1：搭建一个完整的Kubernetes集群
12 | 牛刀小试：我的第一个容器化应用
容器编排与Kubernetes作业管理 (15讲)
13 | 为什么我们需要Pod？
14 | 深入解析Pod对象（一）：基本概念
15 | 深入解析Pod对象（二）：使用进阶
16 | 编排其实很简单：谈谈“控制器”模型
17 | 经典PaaS的记忆：作业副本与水平扩展
18 | 深入理解StatefulSet（一）：拓扑状态
19 | 深入理解StatefulSet（二）：存储状态
20 | 深入理解StatefulSet（三）：有状态应用实践
21 | 容器化守护进程的意义：DaemonSet
22 | 撬动离线业务：Job与CronJob
23 | 声明式API与Kubernetes编程范式
24 | 深入解析声明式API（一）：API对象的奥秘
25 | 深入解析声明式API（二）：编写自定义控制器
26 | 基于角色的权限控制：RBAC
27 | 聪明的微创新：Operator工作原理解读
Kubernetes容器持久化存储 (4讲)
28 | PV、PVC、StorageClass，这些到底在说啥？
29 | PV、PVC体系是不是多此一举？从本地持久化卷谈起
30 | 编写自己的存储插件：FlexVolume与CSI
31 | 容器存储实践：CSI插件编写指南
Kubernetes容器网络 (8讲)
32 | 浅谈容器网络
33 | 深入解析容器跨主机网络
34 | Kubernetes网络模型与CNI网络插件
35 | 解读Kubernetes三层网络方案
36 | 为什么说Kubernetes只有soft multi-tenancy？
37 | 找到容器不容易：Service、DNS与服务发现
38 | 从外界连通Service与Service调试“三板斧”
39 | 谈谈Service与Ingress
Kubernetes作业调度与资源管理 (5讲)
40 | Kubernetes的资源模型与资源管理
41 | 十字路口上的Kubernetes默认调度器
42 | Kubernetes默认调度器调度策略解析
43 | Kubernetes默认调度器的优先级与抢占机制
44 | Kubernetes GPU管理与Device Plugin机制
Kubernetes容器运行时 (3讲)
45 | 幕后英雄：SIG-Node与CRI
46 | 解读 CRI 与 容器运行时
47 | 绝不仅仅是安全：Kata Containers 与 gVisor
Kubernetes容器监控与日志 (3讲)
48 | Prometheus、Metrics Server与Kubernetes监控体系
49 | Custom Metrics: 让Auto Scaling不再“食之无味”
50 | 让日志无处可逃：容器日志收集与管理
再谈开源与社区 (1讲)
51 | 谈谈Kubernetes开源社区和未来走向
答疑文章 (1讲)
52 | 答疑：在问题中解决问题，在思考中产生思考
特别放送 (1讲)
特别放送 | 2019 年，容器技术生态会发生些什么？
结束语 (1讲)
结束语 | Kubernetes：赢开发者赢天下
特别放送 | 云原生应用管理系列 (1讲)
基于 Kubernetes 的云原生应用管理，到底应该怎么做？
深入剖析Kubernetes
登录|注册
22 | 撬动离线业务：Job与CronJob
张磊 2018-10-12
你好，我是张磊。今天我和你分享的主题是：撬动离线业务之 Job 与 CronJob。
在前面的几篇文章中，我和你详细分享了 Deployment、StatefulSet，以及 DaemonSet 这三个编排概念。你有没有发现它们的共同之处呢？
实际上，它们主要编排的对象，都是“在线业务”，即：Long Running Task（长作业）。比如，我在前面举例时常用的 Nginx、Tomcat，以及 MySQL 等等。这些应用一旦运行起来，除非出错或者停止，它的容器进程会一直保持在 Running 状态。
但是，有一类作业显然不满足这样的条件，这就是“离线业务”，或者叫作 Batch Job（计算业务）。这种业务在计算完成后就直接退出了，而此时如果你依然用 Deployment 来管理这种业务的话，就会发现 Pod 会在计算结束后退出，然后被 Deployment Controller 不断地重启；而像“滚动更新”这样的编排功能，更无从谈起了。
所以，早在 Borg 项目中，Google 就已经对作业进行了分类处理，提出了 LRS（Long Running Service）和 Batch Jobs 两种作业形态，对它们进行“分别管理”和“混合调度”。
不过，在 2015 年 Borg 论文刚刚发布的时候，Kubernetes 项目并不支持对 Batch Job 的管理。直到 v1.4 版本之后，社区才逐步设计出了一个用来描述离线业务的 API 对象，它的名字就是：Job。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《深入剖析Kubernetes》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(29)
刘孟需要创建的 Pod 数目 = 最终需要的 Pod 数目 - 实际在 Running 状态 Pod 数目 - 已经成功退出的 Pod 数目 = 2 - 0 - 0= 2。而parallelism数量为4，2小于4，所以应该会创建2个。作者回复: 聪明宝宝
2018-10-12 1 23
DJH说到pod的重新启动，我想再请教一个问题：假设我把deployment的restart policy设置成always，假设某个pod中的容器运行失败，那么是重新创建了一个新的pod，还是仅仅重启了pod里的容器？pod的名称和ip地址会变化吗？作者回复: restartpoliccy当然是针对容器。pod没有重启这个说法。至于ip，那跟用户容器没关系，那是infra container
2018-10-12 10
pain问个不相关的问题：configmap 更新，怎么做到不重启 pod 生效作者回复: 这得看应用咋写的。configmap volume里的内容已经就是自动更新的。但应用能做到监视文件的更新吗？
2019-01-03 7- painjob 执行结束，处于 completed 状态之后，还会占用系统资源吗，可以让它执行结束后自动退出吗
作者回复: 需要删除掉，或者设置规则
2019-01-03 2 
jssfy请问job成功结束后一直处于completed状态吗？需要手动清吗？作者回复: 对
2018-11-25 2
fangxuan从公式可以看出，启动的job的最大值由completion决定2018-11-23 1- hochuenw老师请问kubeflow在哪一部分用到了第一种job的使用方法？他们不是自己写了tf-operator吗
作者回复: 你说operator 管理的是啥呢？
2018-11-04 1 
大星星你好，磊哥，我想问下job运行后，会有字段controller-uid。这个东西和node节点有关系么，还是它只是用来标识job。job应该是调度器随便调度一个节点，执行job吧，谢谢。2018-10-20 1- Nokiak8老师，请教一个问题，假如Job中定义的pod运行失败，比如有异常。pod就会接着新生成，这样带来的就是会有大量的pod 产生，如何解决这种问题？
作者回复: 有个字段叫backofflimit
2018-10-18 1 
silverJob的第三种方法中是不是需要有其他process最后去Kill这个Job，否则Job会在Pod退出后不断创建新的Pod？作者回复: 不需要的。completion没设置默认等于1，所以任何一个pod判断到队列为空退出进入succeed状态，Job controller就不会再创建新pod了。
2018-10-14 1
参悟最近实践遇到的问题，盼请赐教，多套分支的开发，测试环境，是按一套k8s集群按命名空间分区，还是按多套集群，实践方案哪种更好，有何优缺点？如果按一套多空间，会有nodeport冲突的问题，比如数据库需要暴露稳定的端口，方便运维。作者回复: 多套集群。
2018-10-12 1
abc请问老师：miss的数目100是默认的吗？哪个参数可以修改呢作者回复: 这个是写死的
2018-10-12 1- frozen请教老师，cronjob每次启动执行都需要拉取镜像，而拉取镜像需要一定时间，这就会导致容器里的服务启动时间是对比cron表达式要延迟，这个不算问题的问题怎么解决2019-07-08
每日都想上班cronjob可以每秒执行吗作者回复: 可以想一下linux cron 的语法支持秒么？
2019-06-04
单朋荣大神，我一直很喜欢你的课程。现在更新的也比较多了~能不能在以后的章节里讲讲自动伸缩控制HPA、VPA、CA的知识点，谢谢了。2018-11-26- jssfy请问这里的label必须成对出现吗？
apiVersion: batch/v1
kind: Job
metadata:
name: process-item-$ITEM
labels:
jobgroup: jobexample
spec:
template:
metadata:
name: jobexample
labels:
jobgroup: jobexample作者回复: 不需要
2018-11-25 - georgesuper是不是Spark job,hadoop job,k8s job 底层原理都相似？
作者回复: 这个差别可就太大了
2018-10-20 
kyleqian如果想模仿传统调度系统，比如执行1000个Job，是不是可以为Job指定资源需求，然后把并行度和完成度都设为1000，这样k8s调度时会不会调度尽可能多的Pod，直到集群资源耗尽（但此时可能只能运行300个Pod）。然后若有Pod退出，k8s自动再补上新的Pod，直到满足完成数。不知道是不是这样？如果是就能满足一个基本调度系统的需求了。作者回复: 1000个并行度没必要吧……
2018-10-17
acmoreJob里的Pod被抢占的时候，我觉得pod的containers exit code应该是未知，pod的状态应该是被抢占，当job看到pod的状态是被抢占，应该等着它被重新调度。因为pod被抢占，是外部的干预，用户的container 还没有退出。2018-10-14
北卡第一次接触到k8s job这个概念，开心。2018-10-13
收起评论