springboot集成 xxl-job（一）
JobThread ------> run 方法1. 分布式任务调度平台XXL-JOB
最新架构图
海量数据的处理：
首先从GitHub上面将项目clone下来，如果网络问题导致速度慢也可以从Gitee上面拉取
GitHub地址：https://github.com/xuxueli/xxl-job
https://github.com/xuxueli/xxl-job
启动调度中心：http://localhost:8080/xxl-job-admin/
默认账号密码： admin/123456
① 启动任务调度中心项目
配置如下：
### web
server.port=8080
server.context-path=/xxl-job-admin
### resources
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/
### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.type=org.apache.tomcat.jdbc.pool.DataSource
spring.datasource.tomcat.max-wait=10000
spring.datasource.tomcat.max-active=30
spring.datasource.tomcat.test-on-borrow=true
spring.datasource.tomcat.validation-query=SELECT 1
spring.datasource.tomcat.validation-interval=30000
### xxl-job email
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
### xxl-job login ，登录 注册中心(调度中心) 的账号和密码
xxl.job.login.username=admin
xxl.job.login.password=123456
### xxl-job, access token
xxl.job.accessToken=
### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=
② 准备任务执行器项目：
创建 springboot 项目：
# web port 任务执行器 端口
server.port=8081
# log config
logging.config=classpath:logback.xml
## 往注册中心（任务调度中心）注册任务
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### xxl-job executor address（执行器 名称， ip 和端口）
xxl.job.executor.appname=xxl-job-executor-helloworld
xxl.job.executor.ip=
# 随机指定一个端口
#xxl.job.executor.port=${random.int[9000,10000]}
xxl.job.executor.port=9999
### xxl-job, access token
xxl.job.accessToken=
### xxl-job log path 执行结果的日志
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1
引入依赖：
4.0.0
com.xuxueli
xxl-job-executor-samples
2.0.2-SNAPSHOT
xxl-job-executor-sample-springboot
jar
${project.artifactId}
Example executor project for spring boot.
http://www.xuxueli.com/
org.springframework.boot
spring-boot-starter-parent
${spring-boot.version}
pom
import
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-test
test
com.xuxueli
xxl-job-core
${project.parent.version}
org.springframework.boot
spring-boot-maven-plugin
${spring-boot.version}
repackage
读取配置内容：
package com.xxl.job.executor.core.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* xxl-job config
*
* @author xuxueli 2017-04-28
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.executor.appname}")
private String appName;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean(initMethod = "start", destroyMethod = "destroy")
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppName(appName);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
*
* 1、引入依赖：
*
* org.springframework.cloud
* spring-cloud-commons
* ${version}
*
*
* 2、配置文件，或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}任务 1：
/**
* 任务Handler示例（Bean模式）
*
* 开发步骤： 1、继承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
* 2、注册到Spring容器：添加“@Component”注解，被Spring容器扫描为Bean实例；
* 3、注册到执行器工厂：添加“@JobHandler(value="自定义jobhandler名称")”注解，
* 注解value值对应的是调度中心新建任务的JobHandler属性的值。 4、执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；
*
* @author xuxueli 2015-12-19 19:43:36
*/
@JobHandler(value = "demoJobHandler1")
@Component
public class DemoJobHandler1 extends IJobHandler {
@Override
public ReturnT execute(String param) throws Exception {
XxlJobLogger.log("XXL-JOB------> demoJobHandler1------> Hello World ------>"+"param------>"+param);
return SUCCESS;
}
}
任务2：
package com.xxl.job.executor.service.jobhandler;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.stereotype.Component;
/**
* 任务Handler示例（Bean模式）
*
* 开发步骤： 1、继承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
* 2、注册到Spring容器：添加“@Component”注解，被Spring容器扫描为Bean实例；
* 3、注册到执行器工厂：添加“@JobHandler(value="自定义jobhandler名称")”注解，
* 注解value值对应的是调度中心新建任务的JobHandler属性的值。 4、执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；
*
* @author xuxueli 2015-12-19 19:43:36
*/
@JobHandler(value = "demoJobHandler2")
@Component
public class DemoJobHandler2 extends IJobHandler {
@Override
public ReturnT execute(String param) throws Exception {
XxlJobLogger.log("XXL-JOB------> demoJobHandler2------> Hello World2 ------>"+"param------>"+param);
return SUCCESS;
}
}
进入任务调度中心：
创建执行器：
创建任务1：
在线 cron 表达式生成器：
在线Cron表达式生成器
启动任务执行器 项目
启动执行器里的任务 2：
查看日志发现也正常执行
表结构：
对应：
对应：
说明：
下面是最新的表结构：
demo 2：
执行器：
配置文件如下：
server.port=8099
#redis
spring.redis.host=localhost
spring.redis.port=6379
#spring.redis.password=bigdata123
spring.redis.database=0
#spring.redis.timeout=0
netdisk.picture.url.prefix=https://netdisk.longfor.uat/doc-preview/home
spring.redis.pool.maxTotal=8
spring.redis.pool.maxWaitMillis=1000
#spring.redis.pool.max-idle=8 # pool settings ...
#spring.redis.pool.min-idle=0
#spring.redis.pool.max-active=8
#spring.redis.pool.max-wait=-1
#spring.redis.sentinel.master= # name of Redis server
#spring.redis.sentinel.nodes= # comma-separated list of host:port pairs
# 数据源配置
spring.datasource.url=jdbc:mysql://localhost:3306/sql_test?serverTimezone=UTC&characterEncoding=utf-8
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.username=root
spring.datasource.password=123456
#连接池配置
#spring.datasource.type=org.apache.commons.dbcp2.BasicDataSource
#mybatis
#entity扫描的包名
mybatis.type-aliases-package=com.springboot.demo.model
#Mapper.xml所在的位置
mybatis.mapper-locations=classpath*:/mybatis/mapper/*Mapper.xml
#mybatis.mapper-locations=classpath*:/mybatis/mapper/*Mapper.xml2entity,classpath*:/mapper/order/*.xml2entity,classpath*:/mapper/salechange/*.xml2entity
# 下面这个配置报错： Invalid bound statement (not found): com.example.demo.mapper.RegionMapper.list
#mybatis.mapper-location=classpath*:/mybatis/mapper/*Mapper.xml2entity
#开启MyBatis的二级缓存
mybatis.configuration.cache-enabled=true
# 分页插件 pagehelper
pagehelper.helperDialect=mysql
pagehelper.reasonable=true
pagehelper.supportMethodsArguments=true
pagehelper.params=count=countSql
#日志配置(debug 下 ，控制台，mybatis plugin 可以查到到sql )
logging.level.com.xiaolyuh=debug
logging.level.org.springframework.web=debug
logging.level.org.springframework.transaction=debug
logging.level.org.mybatis=debug
# mybatis plus log
mybatis.configuration.log-impl =org.apache.ibatis.logging.stdout.StdOutImpl
# 单个文件大小
spring.http.multipart.maxFileSize = 100MB
##总文件大小（允许存储文件的文件夹大小）
spring.http.multipart.maxRequestSize=1000MB
#单个文件大小
spring.servlet.multipart.maxFileSize = 100MB
#总文件大小（允许存储文件的文件夹大小）
spring.servlet.multipart.maxRequestSize=1000MB
front.cover.height = 12.00
front.cover.width = 0.40
# job
# log config ??
#logging.config=classpath:logback.xml
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### xxl-job, access token (没token 会注册不上，注册 不到 xxl_job_registry 表里 )
xxl.job.accessToken= 53aa0953
### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9999
### xxl-job executor log-path
#xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
xxl.job.executor.logpath=E://log
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30
依赖文件：
com.xuxueli
xxl-job-core
2.3.0
java 配置类：
package com.example.demo.xxlJob.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* xxl-job config
*
* @author xuxueli 2017-04-28
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
*
* 1、引入依赖：
*
* org.springframework.cloud
* spring-cloud-commons
* ${version}
*
*
* 2、配置文件，或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}设置一个任务
package com.example.demo.xxlJob;
import com.example.demo.entity.Refundset;
import com.example.demo.entity.SOrder;
import com.example.demo.mapper.OrderSOrderMapper;
import com.example.demo.mapper.RefundsetMapper;
import com.example.demo.service.order.OrderSOrderService;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;
import java.time.LocalDateTime;
import java.util.List;
import java.util.concurrent.TimeUnit;
/**
* XxlJob开发示例（Bean模式）
*
* 开发步骤：
* 1、任务开发：在Spring Bean实例中，开发Job方法；
* 2、注解配置：为Job方法添加注解 "@XxlJob(value="自定义jobhandler名称", init = "JobHandler初始化方法", destroy = "JobHandler销毁方法")"，注解value值对应的是调度中心新建任务的JobHandler属性的值。
* 3、执行日志：需要通过 "XxlJobHelper.log" 打印执行日志；
* 4、任务结果：默认任务结果为 "成功" 状态，不需要主动设置；如有诉求，比如设置任务结果为失败，可以通过 "XxlJobHelper.handleFail/handleSuccess" 自主设置任务结果；
*
* @author xuxueli 2019-12-11 21:52:51
*/
@Component
public class SampleXxlJob {
private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
@Autowired
RefundsetMapper refundsetMapper;
@Autowired
OrderSOrderService orderSOrderService;
@Autowired
@Qualifier("orderSOrderMapper")
OrderSOrderMapper sOrderMapper;
/**
* 1、简单任务示例（Bean模式）
*/
@XxlJob("demoJobHandler")
// @Transactional(rollbackFor = Exception.class)
public void demoJobHandler() throws Exception {
XxlJobHelper.log("XXL-JOB, Hello World.");
for (int i = 0; i < 5; i++) {
XxlJobHelper.log("beat at:" + i);
TimeUnit.SECONDS.sleep(2);
}
// default success
}
/**
* 1、简单任务示例 2（Bean模式）
*/
@XxlJob("refundSetJobHandler")
public void refundSetJobHandler() throws Exception {
XxlJobHelper.log("XXL-JOB, Hello World.");
XxlJobHelper.log("XXL-JOB, main thread name" ,Thread.currentThread().getName());
List refundSetList = refundsetMapper.getRefundSetList();
// 不能用多线程
// new Thread (()->new Runnable(){
// @Override
// public void run() {
// System.out.println("hhhhh");
//
// }
//
// }).start();
//第一个任务。
refundSetList.forEach(e->{
XxlJobHelper.log(" job thread name {} , 分期id 为 {} ",Thread.currentThread().getName(),e.getXProjguid());
});
// 为什么 要加 service 层，没有service ,事务不好控制， mapper 已经入库，但是走到一半抛了异常，数据也没有回滚
LocalDateTime now = LocalDateTime.now();
SOrder sOrder = new SOrder();
sOrder.setCreatedGuid("000000000000");
sOrder.setCreatedTime(now);
sOrder.setUpdatedGuid("000000000000");
sOrder.setUpdatedTime(now);
sOrder.setDescription("嘿嘿");
sOrder.setId(1);
sOrder.setName("订单1");
// 这个method 会正常入库
int insertOrderCount = sOrderMapper.insert(sOrder);
XxlJobHelper.log(" insert s_order count {} ",insertOrderCount);
// s_order 表里插入数据 ，boy 表里插入数据，同时 这两个表的 insert 都加了事务，但是 boy的 insert 方法 有 /0 的异常，下面的method 不会正常入库
// orderSOrderService.insertOrder() 这个方法开启了事务
// spring 的处理逻辑如下
// try{
// orderSOrderService.insertOrder();
// 正常提交事务
// }catch(){
// 手动回滚事务（手滚）
// }
// 所以下面这个方法回滚的事务是 orderSOrderService.insertOrder() 这个方法里 s_order 表 和 boy 相关的事物 ，并不能控制 上面sOrderMapper.insert 里的事务
// spring 事务回滚之后 ，xxlJob catch 到这个异常，写入 异常信息
orderSOrderService.insertOrder();
}
}
xxlJob 反射调用 任务方法如下：
try{
// 反射调用方法
handler.execute();
// spring 处理事务后（回滚后，有异常 进入了下面 catch 方法）
}catch(Throwable e){
}
源码位置：
JobThread ------> run() 方法面试题：
xxl 处理业务方法，会 try catch 目标方法，但是如果 业务方法 抛异常后，事务是怎么处理的？
答案:事务 是 spring 处理的 ，一般 要在 xxlJob 的method 方法里 抽成一个 Service 方法，service 对应的方法上加上 事务 ，这样业务方法抛异常后，spring 首先 先 回滚事务，然后 异常被 xxlJob捕获 ，而不会 造成异常被吃掉的现象
解决方案：
