分布式任务调度平台XXL-JOB 学习

因公司最近需要分布式定时任务,因而此处做个学习记录。

分布式任务调度平台XXL-JOB:
   

    系统组成

  • 调度模块(调度中心): 负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块; 支持可视化、简单且动态的管理调度信息,包括任务新建,更新,删除,GLUE开发和任务报警等,所有上述操作都会实时生效,同时支持监控调度结果以及执行日志,支持执行器Failover。
  • 执行模块(执行器): 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作,开发和维护更加简单和高效; 接收“调度中心”的执行请求、终止请求和日志请求等。

   分布式任务调度平台XXL-JOB 学习_第1张图片 

       详细了解:点击

 源码下载位置:https://github.com/xuxueli/xxl-job

需要注意:版本问题。

xxl-job-admin:


		com.xuxueli
		xxl-job-core
		2.1.0-SNAPSHOT

  如果密码登陆不上去,可以采用

 DigestUtils.md5DigestAsHex("密码".getBytes());//加密

 然后需改数据库中:

XXL_JOB_QRTZ_USER 表中用户的密码。

分布式任务调度平台XXL-JOB 学习_第2张图片

分布式任务调度平台XXL-JOB 学习_第3张图片
说明:
路由策略:当执行器集群部署时,提供丰富的路由策略,包括;

     FIRST(第一个):固定选择第一个机器;

    LAST(最后一个):固定选择最后一个机器;

    ROUND(轮询):; RANDOM(随机):随机选择在线的机器;

    CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。

    LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举; LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;

   FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;

  BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;

   SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;

  Cron:触发任务执行的Cron表达式; - 运行模式:

      BEAN模式:任务以JobHandler方式维护在执行器端;需要结合"JobHandler" 属性匹配执行器中任务;

     GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;

    GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "shell" 脚本;

    GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;

    GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;

   GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;

   GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;

- JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;

阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;

    单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;

   丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;

    覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;

- 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。

- 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;

- 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;

- 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;

- 负责人:任务的负责人;

- 执行参数:任务执行所需的参数;

分布式任务调度平台XXL-JOB 学习_第4张图片

 定时任务:

开发步骤:
  1、继承"IJobHandler":“com.xxl.job.core.handler.IJobHandler”;
  2、注册到Spring容器:添加“@Component”注解,被Spring容器扫描为Bean实例;
  3、注册到执行器工厂:添加“@JobHandler(value="自定义jobhandler名称")”注解,注解value值对应的是调度中心新建任务JobHandler属性的值。
 4、执行日志:需要通过 "XxlJobLogger.log" 打印执行日志;
@JobHandler(value="demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {

	@Override
	public ReturnT execute(String param) throws Exception {
		XxlJobLogger.log("XXL-JOB, Hello World.");

		for (int i = 0; i < 5; i++) {
			XxlJobLogger.log("beat at:" + i);
			TimeUnit.SECONDS.sleep(2);
		}
		return SUCCESS;
	}

}

集群: 

/**
 * 分片广播任务
 */
@JobHandler(value="shardingJobHandler")
@Service
public class ShardingJobHandler extends IJobHandler {

	@Override
	public ReturnT execute(String param) throws Exception {

		// 分片参数
		ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
		XxlJobLogger.log("分片参数:当前分片序号 = {}, 总分片数 = {}", shardingVO.getIndex(), shardingVO.getTotal());

		// 业务逻辑
		for (int i = 0; i < shardingVO.getTotal(); i++) {
			if (i == shardingVO.getIndex()) {
				XxlJobLogger.log("第 {} 片, 命中分片开始处理", i);
			} else {
				XxlJobLogger.log("第 {} 片, 忽略", i);
			}
		}

		return SUCCESS;
	}

}

此处只是为做个记录。后续在深入研究。

你可能感兴趣的:(定时任务)