elastic-job:分布式作业调度框架
elastic-job是当当内部应用框架ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了dd-job中监控和ddframe接入规范部分。ddframe其他模块也有可独立开源的部分，之前当当曾开源过dd-soa的基石模块DubboX
elastic-job和ddframe关系见下图:
Elastic-job的主要包括以下功能:
1.定时任务：基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。
2.作业注册中心：基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册，控制和协调分布式作业执行。
3.作业分片：将一个任务分片成为多个小任务项在多服务器上同时执行。
4.弹性扩容缩容：运行中的作业服务器崩溃，或新增加n台作业服务器，作业框架将在下次作业执行前重新分片，不影响当前作业执行。
5.支持多种作业执行模式：支持OneOff（类似Quartz原生作业），Perpetual（类似TbSchedule作业）和SequencePerpetual（类似TbSchedule和kafka的合并，但处理时维持分片顺序）三种作业模式。
6.失效转移：运行中的作业服务器崩溃不会导致重新分片，只会在下次作业启动时分片。启用失效转移功能可以在本次作业执行过程中，监测其他作业服务器空闲，抓取未完成的孤儿分片项执行。
7.运行时状态收集：监控作业运行时状态，统计最近一段时间处理的数据成功和失败数量，记录作业上次运行开始时间，结束时间和下次运行时间。
8.作业停止，恢复和禁用：用于操作作业启停，并可以禁止某作业运行（上线时常用）。
9.被错过执行的作业重触发：自动记录错过执行的作业，并在上次作业完成后自动触发。可参考Quartz的misfire。
10.多线程快速处理数据：使用多线程处理抓取到的数据，提升吞吐量。
11.幂等性：重复作业任务项判定，不重复执行已运行的作业任务项。由于开启幂等性需要监听作业运行状态，对瞬时反复运行的作业对性能有较大影响。
12.容错处理：作业服务器与Zookeeper服务器通信失败则立即停止作业运行，防止作业注册中心将失效的分片分项配给其他作业服务器，而当前作业服务器仍在执行任务，导致重复执行。
13.Spring支持：支持spring容器，自定义命名空间，支持占位符。
14.运维平台：提供运维界面，可以管理作业和注册中心。
系统使用：
1、elastic-job已经发布到中央仓库，可以在pom.xml文件中直接引入maven坐标
1.1.0-SNAPSHOT
com.dangdang
elastic-job-core
${elastic-job.version}
com.dangdang
elastic-job-spring
${elastic-job.version}
2、Spring配置:job-config.xml、job-config.properties
job-config.properties(参考)
#serverLists=localhost:4181
job.serverLists=${config.job.serverLists}
#serverLists=10.16.2.166:4080
#serverLists=127.0.0.1:2181
job.namespace=elasticjob-lms
job.baseSleepTimeMilliseconds=1000
job.maxSleepTimeMilliseconds=3000
job.maxRetries=3
job.nestedPort=-1
job.nestedDataDir=target/test_zk_data/
job.zookeeper.address=${config.job.zookeeper.address}
job.simpleJob.cron=1/0 * * * * ?
job.simpleJob.shardingTotalCount=1
job.simpleJob.shardingItemParameters=0=A
job.simpleJob.monitorExecution=false
job.simpleJob.failover=true
#只运行一次的作业示例
job.simpleJob.description=\u53ea\u8fd0\u884c\u4e00\u6b21\u7684\u4f5c\u4e1a\u793a\u4f8b
job.simpleJob.disabled=true
job.simpleJob.overwrite=true
job.simpleJob.monitorPort=9888
job.dataflow.threadCount=10
#测试job(1分钟）
testJob.description=\u7a7a\u8fd0\u5feb\u9012\u8ba2\u8231\u53d1\u9001\uff08DHL\uff09\uff081\u5206\u949f\uff09
testJob.cron=1/0 * * * * ?
testJob.disabled=true
3、java代码实现类
package com.midea.gls.job;
import java.util.List;
import org.springframework.stereotype.Component;
import com.dangdang.ddframe.job.api.JobExecutionMultipleShardingContext;
import com.dangdang.ddframe.job.plugin.job.type.dataflow.AbstractIndividualThroughputDataFlowElasticJob;
import com.midea.gls.entity.domain.GoOrder;
@Component
public class TestJob extends AbstractIndividualThroughputDataFlowElasticJob{
//逐条处理数据
@Override
public boolean processData(JobExecutionMultipleShardingContext shardingContext, GoOrder data) {
return false;
}
//抓取数据
@Override
public List fetchData(JobExecutionMultipleShardingContext shardingContext) {
return null;
}
@Override
public boolean isStreamingProcess() {
return false;
}
}
这样就实现了一个定时器的作业调度！
运维平台：
elastic-job运维平台以war包形式提供，可自行部署到tomcat或jetty等支持servlet的web容器中。elastic-job-console.war可以通过编译源码或从maven中央仓库获取。
•登录
默认用户名和密码是root/root，可以通过修改conf\auth.properties文件修改默认登录用户名和密码。
•主要功能
登录安全控制
注册中心管理
作业维度状态查看
服务器维度状态查看
快捷修改作业设置
控制作业暂停和恢复运行
•设计理念
运维平台和elastic-job并无直接关系，是通过读取作业注册中心数据展现作业状态，或更新注册中心数据修改全局配置。
控制台只能控制作业本身是否运行，但不能控制作业进程的启停，因为控制台和作业本身服务器是完全分布式的，控制台并不能控制作业服务器。
•不支持项
添加作业。因为作业都是在首次运行时自动添加，使用运维平台添加作业并无必要。
停止作业。即使删除了Zookeeper信息也不能真正停止作业的运行，还会导致运行中的作业出问题。
删除作业服务器。由于直接删除服务器节点风险较大，暂时不考虑在运维平台增加此功能。
主界面如下：
elastic-job开发指南及java中job类型定义见：
http://blog.csdn.net/harderxin/article/details/53436433