k8s的job和CronJob
网易公开课，开课啦！
主讲内容：docker/kubernetes 云原生技术，大数据架构，分布式微服务，自动化测试、运维。
腾讯课堂：点击进入
网易课堂：点击进入
7月1号-7月29号 8折优惠！！！
7月1号-7月29号 8折优惠！！！
7月1号-7月29号 8折优惠！！！
全栈工程师开发手册 （作者：栾鹏）
架构系列文章
任务主要包含两种：
- Job负责批处理任务，即仅执行一次的任务，它保证批处理任务的一个或多个Pod成功结束。
- CronJob是基于调度的Job执行将会自动产生多个job，调度格式参考Linux的cron系统。
job
Job，执行一次任务
Job Spec格式
- spec.template格式同Pod。
- RestartPolicy仅支持Never或OnFailure。
- 单个Pod时，默认Pod成功运行后Job即结束。
- .spec.completions标志Job结束需要成功运行的Pod个数，默认为1。
- .spec.parallelism标志并行运行的Pod的个数，默认为1。
- spec.activeDeadlineSeconds标志失败Pod的重试最大时间，超过这个时间不会继续重试。
一个简单的例子：
apiVersion: batch/v1beta1
kind: Job
metadata:
name: pi
spec:
template:
metadata:
name: pi
spec:
containers:
- name: pi
image: perl
command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
restartPolicy: Never
注意，里面的template配置方法与Deployment配置参数是完全一样的，用于生成运行时的pod。可以在其中指定挂载卷、运行的命令等等。
执行job任务：
$ kubectl create -f ./job.yaml
job "pi" created
$ pods=$(kubectl get pods --selector=job-name=pi --output=jsonpath={.items..metadata.name})
$ kubectl logs $pods
3.141592653589793238462643383279502...
cron job
Cron Job 管理基于时间的 Job，即：
- 在给定时间点只运行一次
- 在给定时间点周期性地运行
一个 CronJob 对象类似于 crontab （cron table）文件中的一行。它根据指定的预定计划周期性地运行一个 Job，格式可以参考 Cron 。
注意： 在预定计划中，问号（?）和星号（*）的意义是相同的，表示给定字段的取值是任意可用值。
注意： 在 Kubernetes 1.4 版本引入了 ScheduledJob 资源，但从 1.5 版本开始改成了 CronJob。
典型的用法如下所示：
- 在给定的时间点调度 Job 运行
- 创建周期性运行的 Job，例如：数据库备份、发送邮件。
前提条件
当使用的 Kubernetes 集群，版本 >= 1.4（对 ScheduledJob），>= 1.5（对 CronJob），当启动 API Server（参考 为集群开启或关闭 API 版本 获取更多信息）时，通过传递选项 --runtime-config=batch/v2alpha1=true 可以开启 batch/v2alpha1 API。
Cron Job 资源yaml文件
apiVersion: batch/v1beta1 #batch/v2alpha1
kind: CronJob
metadata:
name: clean-job
namespace: cloudai-2
spec:
schedule: "*/1 * * * *" # 分钟，小时，日，月，星期
startingDeadlineSeconds: 300 # 300秒没有启动成功，就不再启动
concurrencyPolicy: Forbid #Allow 允许job并发执行，Forbid只允许当前这个执行，Replace取消当前这个，而执行新的
suspend: false # 设置为true，后续所有执行被挂起
jobTemplate:
spec:
# ttlSecondsAfterFinished: 100 # 任务完成后的10s之后自动删除pod，k8s 1.12以后才有
backoffLimit: 4 # 最大允许失败的次数
template:
spec:
restartPolicy: OnFailure
volumes:
- name: tz-config
hostPath:
path: /usr/share/zoneinfo/Asia/Shanghai
- name: code-path
persistentVolumeClaim:
claimName: cloudai-code-pvc
- name: file-path
persistentVolumeClaim:
claimName: cloudai-file-pvc
containers:
- name: clean-job
image: luanpeng/lp:cloudai-cron-job
command: ['python','clean_job.py']
workingDir: /app/cronjob
volumeMounts:
- name: tz-config
mountPath: /etc/localtime
- name: code-path
mountPath: /app
- name: file-path
mountPath: /file
batch/v2alpha1 是当前 CronJob 的 apiVersion。
指明当前资源的类型为 CronJob。
schedule 指定什么时候运行 Job，其格式与 Linux cron 一致。这里 */1 * * * * 的含义是每一分钟启动一次。
jobTemplate 定义 Job 的模板，格式与前面 Job 一致。
-
.spec.schedule：调度，必需字段，指定任务运行周期，格式同 Cron。
-
.spec.jobTemplate：Job 模板，必需字段，指定需要运行的任务，格式同 Job。
-
.spec.startingDeadlineSeconds ：启动 Job 的期限（秒级别），该字段是可选的。
-
如果因为任何原因而错过了被调度的时间，那么错过执行时间的 Job 将被认为是失败的。
-
如果没有指定，则没有期限。
-
-
.spec.concurrencyPolicy：并发策略，该字段也是可选的。
-
它指定了如何处理被 Cron Job 创建的 Job 的并发执行。只允许指定下面策略中的一种。
-
Allow（默认）：允许并发运行 Job。
-
Forbid：禁止并发运行，如果前一个还没有完成，则直接跳过下一个。
-
Replace：取消当前正在运行的 Job，用一个新的来替换。
-
-
注意，当前策略只能应用于同一个 Cron Job 创建的 Job。如果存在多个 Cron Job，它们创建的 Job 之间总是允许并发运行。
-
-
.spec.suspend ：挂起，该字段也是可选的。
-
如果设置为 true，后续所有执行都会被挂起。
-
它对已经开始执行的 Job 不起作用。默认值为 false。
-
-
.spec.successfulJobsHistoryLimit 和 .spec.failedJobsHistoryLimit ：历史限制，是可选的字段。
-
它们指定了可以保留多少完成和失败的 Job。
-
默认没有限制，所有成功和失败的 Job 都会被保留。
-
当运行一个 Cron Job 时，Job 可以很快就堆积很多，推荐设置这两个字段的值。
-
设置限制的值为 0，相关类型的 Job 完成后将不会被保留。
-
然后就可以使用kubectl create -f CronJob.yaml
检查
一个CronJob会定期启动一个job 来执行一个任务.
通过 kubectl get cronjob 查看 CronJob 的状态.
通过 kubectl get jobs 查看 Job 的执行情况.
执行 kubectl logs 可查看某个 Job 的运行日志.
实时跟踪jobs运行 kubectl get jobs --watch
注意:当前一个CronJob在执行期间“大约”创建一个Job，之所以说“大约”是因为在特殊的情况下可能会创建两个或没有Job被创建。Kubernetes官方正在试图使这种情况尽量少发生，但目前还不能保证完全杜绝。 因此如果我们现在使用它，那么Job应该被我们设计成幂等的。