任务调度工具XXL-JOB容器化部署和实践

背景

项目中有使用到定时任务，目前通过springMVC结合quartz的方式实现，缺点是操作繁琐，监控不足，如定时任务调整需要修改配置，仅少量任务支持失败重试，日志和执行进度监控复杂，需要查询查询机器日志获取，其他还有不支持分布式执行。

基于上面的缺陷，调研定时任务调度组件，了解到xxl-job是国内较为成熟的定时任务管理工具，它支持注册中心，任务时间自定义调整，分片执行，超时重试等多种功能。包括美团点评，平安，浪潮，联想，京东等一众公司都有在使用。

部署过程

为简单起见，测试环境使用docker部署方式，版本固定为2.3.0

docker-compose

参考官网文档，编写docker-compose，其中数据库和xxl-job-admin一起部署。

#docker-compose.yml
version: '3.9'

services:
  xxl-job-admin:
    image: xuxueli/xxl-job-admin:2.3.0
    container_name: xxl-job-admin
    depends_on:
      - job-db
    ports:
      - "8077:8077"
    links:
      - job-db
    volumes:
      - ./data/logs:/data/applogs
      - ./data/xxl-job/:/xxl-job
    environment:
      - SPRING_DATASOURCE_URL=jdbc:mysql://job-db:3306/xxl_job?serverTimezone=UTC&characterEncoding=utf8&autoReconnect=true&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME=root
      - SPRING_DATASOURCE_PASSWORD=
      - SERVER_PORT=8077

  job-db:
    image: mysql:5.7
    container_name: job-db
    environment:
      TZ: Asia/Shanghai
      MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
    depends_on:
      - job-dbdata
    ports:
      - "13306:3306"
    volumes:
      - ./sql:/docker-entrypoint-initdb.d
    volumes_from:
      - job-dbdata

  job-dbdata:
    image: alpine:latest
    container_name: job-dbdata
    volumes:
      - /var/lib/mysql

数据库脚本

从https://github.com/xuxueli/xxl-job/tree/master/doc/db 获取

启动

docker-compose up -d 

在/data/applogs/xxl-job/查看日志或使用  docker-compose logs

结果

使用admin账号登录，默认密码是123456，地址是http://127.0.0.1:8077/xxl-job-admin，以下是运行样例

首页

image.png

任务管理

image.png

编辑任务

image.png

执行日志

image.png

用户管理

image.png

执行器使用

使用bean的方式接入Job

注册执行器

在后台添加执行器APPNAME，选择自动注册，后续启动的执行器将自动注册的任务管理中心

docker启动需要做映射，因为admin也会访问执行器，如调用触发执行接口10.80.242.135:9999/run ，因此本地访问可能会受限。

自动注册默认端口是9999。

添加依赖和编写执行器

依赖参考

    com.xuxueli
    xxl-job-core
    2.3.0

配置bean

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.SpringBootConfiguration;
import org.springframework.context.annotation.Bean;

@Slf4j
@SpringBootConfiguration
public class XxlJobConfiguration {

    @Value("${xxl-job.admin.addresses:''}")
    private String adminAddresses;

    @Value("${xxl-job.executor.appname:''}")
    private String appname;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        log.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        return xxlJobSpringExecutor;
    }
}

配置参数

xxl-job:
  admin:
    addresses: 'http://127.0.0.1:8080/xxl-job-admin/'
  executor:
    appname: 'my-app'

执行handler，实际执行任务

这里使用了类型方式，继承IHandler实现，可以使用方法注解，参考文档：https://www.xuxueli.com/xxl-job/#1.4%20%E5%8F%91%E5%B1%95

@Slf4j
@Component
public class TestJobHandler extends IJobHandler {

    @PostConstruct
    public void init() {
        XxlJobExecutor.registJobHandler("testJobHandler", this);
    }

    @Override
    public void execute() throws Exception {
        XxlJobHelper.log(">>>>>> log start @{}", System.currentTimeMillis());
        log.info(">>>>>>>> running ...");
        XxlJobHelper.log(">>>>>> log end @{}", System.currentTimeMillis());
    }
}

执行结果

失败

image.png

成功

截屏2022-10-23 22.58.21.png

注意事项

1. 因为xxl-job-admin会把日志存入数据库，所以在使用中，执行器的日志要防止大量写入，特别执行较大数据量的任务。

参考资料

1. https://www.xuxueli.com/xxl-job/#%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0XXL-JOB%E3%80%8B