【Elastic-job】实践汇总以及记录遇到的若干问题

1. 版本问题

网上关于Elastic-job的文章有很多,如果初次上手Elastic-job,会发现有些文章依赖的groupId是com.dangdang,还有些甚至是程序员自己写的基于dangdang的jar包自己实现了一套spring boot。

【新闻】停滞数年后,ElasticJob 携首个 Apache 版本 3.0.0-alpha 回归!
https://baijiahao.baidu.com/s?id=1674705760276990789&wfr=spider&for=pc

基于上述文章,可以看到Elastic-job不再是dangdang网的项目了,而是apache shardingsphere的子项目,而3.0.0后的版本,是集成了Spring boot starter的,文档写的也更规范。

本文的实践就是基于shardingsphere-elasticjob 3.0的。

2. 资源链接

官网:https://shardingsphere.apache.org/elasticjob/

  • 提供了中英文两个版本
  • 下载页面:可以下载source code,UI console(TAR, 可独立运行),历史的版本可点击Archive Repository。【更重要的是】,有很详细的PDF文档可以下载,中文版本有104页,资料还是很全的!!!入门看PDF文档完全够了!!!
    Elastic-job download page

Github:https://github.com/apache/shardingsphere-elasticjob

3. 实践版本:

  • 3.1 zookeeper 3.6.0

  • 3.2 Java项目中:

    • Java 17
    • Spring boot:2.6.4
    • elasticjob-lite-spring-boot-starter (3.0.0)
  • 如果项目中要用到trace功能,上述Java项目中我集成了h2嵌入式数据库:

    • spring-boot-starter-data-jpa (版本和Spring boot一致,这里没有特别指定)
    • h2依赖:groupId = com.h2database, artifactId = h2, scope = runtime, version = 1.4.196,【实践1】这里特地的指定了下版本,主要是为了和另一个官网项目UI的版本一致。
  • 如果还想体验Job错误后发送邮件功能(这块功能官方的PDF写的很详细了),上述Java项目中加上:artifactId = elasticjob-error-handler-email, version = 3.0.0

  • 3.3 ElasticJob-Lite-Console,官方的一个小工具,用来查看Job的状态等,是一个独立的项目,下载地址在#2中有介绍。

    • windows下如何运行:bin下start.bat
    • 【实践2】文档上说的启动后端口是8899,而我用3.0.0的跑,默认端口是8088,完整的地址即:http://localhost:8088
    • 【实践3】由于我本地的java home版本太高(jdk17),在运行的时候会发生UI登陆不了的时候,在start.bat中手动set java_home以及path,指定为jdk8即可。
    • 登陆后,Event trace data source,默认下拉只有h2和postgresql,想要集成oracle或者mysql,可以在lib下加上相应的jar即可。
    • 【实践4】这里遇到一个问题,是我在加oracle的时候,地址写的不太对,然后重启UI后,这个项目就一直load有问题,日志就说是oracle地址有问题,但list又出不来以致于无法删除,后来发现在个人目录下有个文件夹叫.elasticjob-console,里面有个文件叫Configuration.xml,这里可以改上述配置,把相应错误的oracle配置去掉即可。

4. 其它实践

4.1 job失效转移:

我们都知道3.0.0版本后的Elastic-job支持在application.yaml中定义job,但如果我们使用以下代码在Controller中动态定义Job,HTTP API为/addJob:

JobConfiguration jobConfig = JobConfiguration.newBuilder("myJob", 3)
.cron("0/5 * * * * ?")
.shardingItemParameters("0=Beijing,1=Shanghai,2=Guangzhou")
.build();

假设这个Controller的项目,布署在3个节点上,instance01:8080, instance02:8080, instance03:8080。
我们在调用http://instance01:8080/addJob后,myJob确实会在instance01节点开始run,但如果此时instance01故障了,myJob默认情况下,并没有自动转移到instance02以及03上。
【实践5】想要job故障转移,必须在节点中先schedule,(zookeeper并不会帮忙做这块),所以需要在instance02、instance03上都调用过/addJob,那么job就会失效转移了。

4.2 jobListener

创建一个jobListener参考:https://shardingsphere.apache.org/elasticjob/current/cn/user-manual/elasticjob-lite/usage/job-listener/listener-interface/
文档上有说:

添加SPI实现
将JobListener实现添加至infra-common下resources/META-INF/services/org.apache.shardingsphere.elasticjob.infra.listener.ElasticJobListener

【实践6】自己在实现的时候,忽略了上述配置,需要在resources下新建目录METE-INF/servises
新建文件:org.apache.shardingsphere.elasticjob.infra.listener
内容(自定义的Listener的类全名):xxx.xxx.MyJobListener

4.3 关于job-error-hander-type=EMAIL的配置:

email configuration

以上图是PDF中截取,我也是参考这个配置来运行我的alert,但发现会提示到不到email.host,【实践7】props应该是具体某个job的配置,不应该和jobs对齐,而应该和上述的jobErrorHandlerType对齐,下面是我的配置:

elasticJob:
  regCenter:
    ...
  jobs:
    my-simple-job:
        ...
        jobErrorHandlerType: EMAIL
        props:
          email:
            host: host
            ...
4.4 官方Q&A:

官网上列了14个问题以及解决方案,有可能在实践过程中真的会遇到:
https://shardingsphere.apache.org/elasticjob/current/cn/faq/

你可能感兴趣的:(【Elastic-job】实践汇总以及记录遇到的若干问题)