你知道XXL-Job吗？

你知道XXL-Job吗？

分布式任务调度

在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度

XXL-Job简介

XXL-Job是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

• 源码地址
• 文档地址

同类产品

名称	说明
TBSchedule	淘宝推出,多年未更新，文档缺失严重，缺少维护
Elastic-job	当当网借鉴TBSchedule并基于quartz二次开发的弹性分布式任务调度系统
Saturn	唯品会开源的一个分布式任务调度平台，基于Elastic-job

XXL-Job演示

结构展示

配置部署调度中心

作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。

1. 调度数据库初始化SQL脚本执行，

   位置：xxl-job/doc/db/tables_xxl_job.sql 共8张表

   

2. 调度中心配置

   ### xxl-job, datasource
   spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job_2.3.1?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
   spring.datasource.username=root
   spring.datasource.password=root
   spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
   

3. 启动调度中心，默认登录账号“admin/123456"，登录后运行界面如下图所示。

配置部署调度中心 - docker安装

1. 创建mysql容器，初始化xxl-job的SQL脚本

   docker run -p 3306:3386 --name mysql57 \
   -v /opt/mysql/conf:/etc/mysql \
   -v /opt/mysql/logs:/var/log/mysql \
   -v /opt/mysql/data:/var/lib/mysql \
   -e MYSQL_ROOT_PASSWORD=root \
   -d mysql:5.7
   

2. 拉取镜像

   docker pull xuxueli/xxl-job-admin:2.3.1
   

3. 创建容器

   docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://192.168.100.130:3306/xxl_job?Unicode=true&characterEncoding=UT-8 \
   --spring.datasource.username=root \
   --spring-datasource.password=root" \
   -p 8888:8080 -v /tmp:/data/applogs \
   --name xxl-job-admin --restart=always -d xuxueli/xxl-job-admin:2.3.1
   

Bean模式任务(方法形式)

1. 登录调度中心，点击下图所示“新建任务”按钮，新建示例任务

   

2. 创建xxljob-demo项目，导入依赖

   <dependency>
       <groupId>com.xuxueligroupId>
       <artifactId>xxl-job-coreartifactId>
       <version>2.3.1version>
   dependency>
   

3. application.yml配置

   xxl:
    job:
     admin:
      addresses: http://192.168.100.130:8888/xxl-job-admin
    executor:
     appname: xxl-job-executor-sample
     port: 9999
   

   @Configuration
   public class XxlJobConfig {
       private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
   
       @Value("${xxl.job.admin.addresses}")
       private String adminAddresses;
   
       @Value("${xxl.job.accessToken}")
       private String accessToken;
   
       @Value("${xxl.job.executor.appname}")
       private String appname;
   
       @Value("${xxl.job.executor.port}")
       private int port;
   
       @Bean
       public XxlJobSpringExecutor xxlJobExecutor() {
           logger.info(">>>>>>>>>>> xxl-job config init.");
           XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
           xxlJobSpringExecutor.setAdminAddresses(adminAddresses); //调度中心
           xxlJobSpringExecutor.setAccessToken(accessToken); //调度中心
           xxlJobSpringExecutor.setAppname(appname);   //执行器名称
           xxlJobSpringExecutor.setPort(port); //执行器端口
           return xxlJobSpringExecutor;
       }
   }
   

4. 任务代码，加注解 @XxlJob()

   @Component
   @Slf4j
   public class HelloJob {
   
       @XxlJob("demoJobHandler")
       public void helloJob() {
           System.out.println("简单的任务执行了....");
       }
   }
   

5. 测试单节点。启动微服务，启动任务

任务详解

执行器

• 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器，实现任务自动发现功能
• 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器

基础配置

• 执行器：每个任务必须绑定一个执行器，方便给任务进行分组
• 任务描述：任务的描述信息，便于任务管理
• 负责人：任务的负责人
• 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔

调度配置

• 调度类型：
  • 无：该类型不会主动触发调度
  • CRON：该类型将会通过CRON，触发任务调度
  • 固定速度：该类型将会以固定速度，触发任务调度，按照固定的间隔时间，周期性触发

任务配置

• 运行模式：
  • BEAN模式：任务以JobHandler方式维护在执行器端，需要结合 “JobHandler” 属性匹配执行器中任务
• JobHandler：运行模式为 “BEAN模式” 时生效，对应执行器中新开发的JobHandler类 “@JobHandler” 注解自定义的value值
• 执行参数：任务执行所需的参数

阻塞处理策略

阻塞处理策略：调度过于密集执行器来不及处理时的处理策略

• 单机串行（默认）︰调度请求进入单机执行器后，调度请求进入FIFO（First lnput First Output）队列并以串行方式运行;
• 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败
• 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度
• 任务并清空队列，然后运行本地调度任务

路由策略

当执行器集群部署时，提供丰富的路由策略，包括：

• FIRST（第一个）：固定选择第一个机器
• LAST（最后一个）：固定选择最后一个机器
• ROUND（轮询）
• RANDOM（随机）：随机选择在线的机器
• CONSISTENT_HASH （一致性 HASH）：每个任务按照 Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上
• LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举
• LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举
• FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度
• BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度
• SHARDING_BROADCAST（分片广播）：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数;可根据分片参数开发分片任务

集群下任务的路由策略

轮询案例

• 修改任务为轮询

  

• 启动多个微服务

  

@component
public class HelloJob {
    @value("${server.port}")
    private String port;
    
    @XxlJob("demoJobHandler")
    public void helloJob(){
        System.out.printin("简单任务执行了..." + port);
    }
}

server:
 port: ${port:8881}
 
xxl:
 job:
  admin:
   addresses: http://192.168.100.130:8888/xxl-job-admin
 executor:
  appname: xxl-job-executor-sample
  port: ${executor.port:9999} 
 

分片广播案例

执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务

让两个节点同时执行10000个任务，每个节点分别执行5000个任务

• 创建分片执行器

  

• 创建任务，路由策略为分片广播

  

• 分片广播代码

  @component
  public class HelloJob {
  
      @XxlJob("shadingSample")
      public void shardingJobHandler() throws Exception {
          //分片参数
          int shardIndex = XxlJobHelper.getshardIndex();
          int shardTotal = XxlJobHelper.getshardTotal();
          XxlJobHelper.log("分片参数:当前分片序号 ={}，总分片数 = {}",shardIndex, shardTotal);
          //业务逻辑
          List<Integer> list = getList();
          for (Integer integer : list) {
              if(integer % shardTotal == shardIndex){
                  System.out.println("第" + shardIndex + "分片执行，执行数据为:" + integer);
              }
          }
      }
  }