Elastic Job定时任务

Elastic Job分为主要分为Elastic-Job-Lite和Elastic-Job-Cloud两个子项目。其中，Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。而Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。

优点：

（1）定时任务：基于成熟的定时任务作业框架Quartz cron表达式执行定时任务；
（2）作业注册中心：基于Zookeeper和其客户端Curator实现的全局作业注册控制中心；作业注册中心仅用于作业任务注册和监控信息的暂存；
（3）定时任务分片：可以将原本一个较大任务分片成为多小的子任务项分别在多个服务器上同时执行，提高总任务的执行处理效率；
（4）弹性扩容缩容：运行中定时任务所在的服务器崩溃，或新增加n台作业服务器，作业框架将在下次任务执行前重新进行任务调度分发，不影响当前任务的处理与执行；
（5）支持多种任务模式：分别支持Simple、Dataflow和Script类型的定时任务；
（6）失效转移：运行中的定时任务所在的服务器崩溃不会导致重新分片，会在下次定时任务启动时重新分发和调度；
（7）运行时定时任务状态收集：监控任务运行时的状态，统计最近一段时间任务处理成功和失败的数量，记录作业上次运行开始时间，结束时间和下次运行时间；
（8）支持配置定时任务停止、恢复和禁用：用于操作定时任务的启停，并可以禁止某任务的执行；
（9）Spring支持：Elastic-Job-Lite项目完美支持spring的容器，自定义命名空间，支持占位符
（10）运维平台：提供运维界面，方便开发和运维人员管理生产环境上已经发布的定时任务和注册中心；

 

运维平台：elastic-job-lite-console

从官网下载之后打包会在target下出现一个压缩包，解压之后执行bin下的start.bat。访问localhost:8899会出现如下界面

连接zookeeper之后就可以查看当前 命名空间下的任务作业

里面可以进行一些操作，包括修改corn表达式，修改分片数量，修改参数等。

 

任务分片原则：

Elasticjob的分片策略实现了三种：

AverageAllocationJobShardingStrategy：平均分片策略，是默认的分片策略。

OdevitySortByNameJobShardingStrategy:

在AverageAllocationJobShardingStrategy的基础上，根据任务名称的哈希值是否能被2整除来选择在执行AverageAllocationJobShardingStrategy分片前，是否将节点组逆序。

RotateServerByNameJobShardingStrategy:

在执行AverageAllocationJobShardingStrategy的分片之前，根据任务的哈希值与节点数量取模，将之前取模的结果依次加一的结果与节点数量重新取模对节点进行重新排序，再执行AverageAllocationJobShardingStrategy的分片。

三种任务形式：

Elastic Job有三种任务形式：Simple类型作业（继承的execute方法内做任务处理）、Dataflow类型作业（继承的fetchData做数据获取处理先执行，继承的processData做任务处理后执行，二者执行完表示任务完成）、Script类型作业（通过脚本执行）； 采用的是一个任务对于一个类，暂不支持自定义任务方法。

实现SimpleJob：

创建springboot工程，加入依赖

        
			com.dangdang
			elastic-job-lite-core
			2.1.5
		
		
		
			com.dangdang
			elastic-job-lite-spring
			2.1.5
	

添加配置类，配置连接zookeeper和添加基础配置信息

创建任务类，实现SimpleJob，复写execute方法。

其中ShardingContext包含了任务执行的上下文信息和一些任务参数。

在公司项目中我们配置了不同的租户ID作为定时任务执行的参数。

实现Dataflow：

流式任务类型：业务实现两个接口：抓取(fetchData)和处理(processData)数据

 a.流式处理数据只有fetchData方法的返回值为null或集合长度为空时，作业才停止抓取，否则作业将一直运行下去；

 b.非流式处理数据则只会在每次作业执行过程中执行一次fetchData方法和processData方法，随即完成本次作业

 

SimpleJob和Dataflow不能一起运行，一起启动只会执行流作业，原因还没找到。

 

附加：corn表达式

 

格式：{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)}

例  "0 0 12 ? * WED" 在每星期三下午12:00 执行（年份通常 省略）

字段	允许值	允许的特殊字符
秒（Seconds）	0~59的整数	, - * /    四个字符
分（Minutes）	0~59的整数	, - * /    四个字符
小时（Hours）	0~23的整数	, - * /    四个字符
日期（DayofMonth）	1~31的整数（但是你需要考虑你月的天数）	,- * ? / L W C     八个字符
月份（Month）	1~12的整数或者 JAN-DEC	, - * /    四个字符
星期（DayofWeek）	1~7的整数或者 SUN-SAT （1=SUN）	, - * ? / L C #     八个字符
年(可选，留空)（Year）	1970~2099	, - * /    四个字符

（1）*：表示匹配该域的任意值。假如在Minutes域使用*, 即表示每分钟都会触发事件。

（2）?：只能用在DayofMonth和DayofWeek两个域。它也匹配域的任意值，但实际不会。因为DayofMonth和DayofWeek会相互影响。例如想在每月的20日触发调度，不管20日到底是星期几，则只能使用如下写法： 13 13 15 20 * ?, 其中最后一位只能用？，而不能使用*，如果使用*表示不管星期几都会触发，实际上并不是这样。

（3）-：表示范围。例如在Minutes域使用5-20，表示从5分到20分钟每分钟触发一次 

（4）/：表示起始时间开始触发，然后每隔固定时间触发一次。例如在Minutes域使用5/20,则意味着5分钟触发一次，而25，45等分别触发一次. 

（5）,：表示列出枚举值。例如：在Minutes域使用5,20，则意味着在5和20分每分钟触发一次。 

（6）L：表示最后，只能出现在DayofWeek和DayofMonth域。如果在DayofWeek域使用5L,意味着在最后的一个星期四触发。 

（7）W:表示有效工作日(周一到周五),只能出现在DayofMonth域，系统将在离指定日期的最近的有效工作日触发事件。例如：在 DayofMonth使用5W，如果5日是星期六，则将在最近的工作日：星期五，即4日触发。如果5日是星期天，则在6日(周一)触发；如果5日在星期一到星期五中的一天，则就在5日触发。另外一点，W的最近寻找不会跨过月份 。

（8）LW:这两个字符可以连用，表示在某个月最后一个工作日，即最后一个星期五。 

（9）#:用于确定每个月第几个星期几，只能出现在DayofMonth域。例如在4#2，表示某月的第二个星期三。

 

常用表达式例子

　　（1）0 0 2 1 * ? *   表示在每月的1日的凌晨2点调整任务

　　（2）0 15 10 ? * MON-FRI   表示周一到周五每天上午10:15执行作业

　　（3）0 15 10 ? 6L 2002-2006   表示2002-2006年的每个月的最后一个星期五上午10:15执行作

　　（4）0 0 10,14,16 * * ?   每天上午10点，下午2点，4点 

　　（5）0 0/30 9-17 * * ?   朝九晚五工作时间内每半小时 

　　（6）0 0 12 ? * WED    表示每个星期三中午12点 

　　（7）0 0 12 * * ?   每天中午12点触发 

　　（8）0 15 10 ? * *    每天上午10:15触发 

　　（9）0 15 10 * * ?     每天上午10:15触发 

　　（10）0 15 10 * * ? *    每天上午10:15触发 

　　（11）0 15 10 * * ? 2005    2005年的每天上午10:15触发 

　　（12）0 * 14 * * ?     在每天下午2点到下午2:59期间的每1分钟触发 

　　（13）0 0/5 14 * * ?    在每天下午2点到下午2:55期间的每5分钟触发 

　　（14）0 0/5 14,18 * * ?     在每天下午2点到2:55期间和下午6点到6:55期间的每5分钟触发 

　　（15）0 0-5 14 * * ?    在每天下午2点到下午2:05期间的每1分钟触发 

　　（16）0 10,44 14 ? 3 WED    每年三月的星期三的下午2:10和2:44触发 

　　（17）0 15 10 ? * MON-FRI    周一至周五的上午10:15触发 

　　（18）0 15 10 15 * ?    每月15日上午10:15触发 

　　（19）0 15 10 L * ?    每月最后一日的上午10:15触发 

　　（20）0 15 10 ? * 6L    每月的最后一个星期五上午10:15触发 

　　（21）0 15 10 ? * 6L 2002-2005   2002年至2005年的每月的最后一个星期五上午10:15触发 

（22）0 15 10 ? * 6#3   每月的第三个星期五上午10:15触发

 

注：

　　（1）有些子表达式能包含一些范围或列表

　　例如：子表达式（天（星期））可以为 “MON-FRI”，“MON，WED，FRI”，“MON-WED,SAT”

“*”字符代表所有可能的值

　　因此，“*”在子表达式（月）里表示每个月的含义，“*”在子表达式（天（星期））表示星期的每一天

“/”字符用来指定数值的增量 
　　例如：在子表达式（分钟）里的“0/15”表示从第0分钟开始，每15分钟 
在子表达式（分钟）里的“3/20”表示从第3分钟开始，每20分钟（它和“3，23，43”）的含义一样

“？”字符仅被用于天（月）和天（星期）两个子表达式，表示不指定值 
　　当2个子表达式其中之一被指定了值以后，为了避免冲突，需要将另一个子表达式的值设为“？”

“L” 字符仅被用于天（月）和天（星期）两个子表达式，它是单词“last”的缩写 
　　但是它在两个子表达式里的含义是不同的。 
　　在天（月）子表达式中，“L”表示一个月的最后一天 
　　在天（星期）自表达式中，“L”表示一个星期的最后一天，也就是SAT

　　如果在“L”前有具体的内容，它就具有其他的含义了

例如：“6L”表示这个月的倒数第６天，“FRIL”表示这个月的最一个星期五 
　　注意：在使用“L”参数时，不要指定列表或范围，因为这会导致问题

 

表达式生成器：

http://cron.qqe2.com/