便捷的数据读写-spring batch(5)结合beetlSql进行数据读写

便捷的数据读写-spring batch(5)结合beetlSql进行数据读写

tags: springbatch


文章目录

  • 便捷的数据读写-spring batch(5)结合beetlSql进行数据读写
  • 1.引言
  • 2.开发环境
  • 3.BeetlSQL简要说明
  • 4.使用BeetlSQL读写数据库
    • 4.1 引入BeetlSQL依赖
    • 4.2 编写多数据源的dao
      • 4.2.1 添加配置文件
      • 4.2.2 添加dao文件
    • 4.3 编写sql文件
    • 4.4 编写读组件ItemReader
    • 4.5 编写写组件ItemWriter
    • 4.6 组装完整任务
      • 4.6.1 注入读写组件
      • 4.6.2 组装任务
    • 4.7 测试
  • 5.总结

1.引言

上一篇文章《决战数据库-spring batch(4)数据库到数据库》使用Spring Batch内置的读、写组件,对数据库间的数据进行同步。相对来说,这个数据读取和数据写入是基于jdbc进行读写的(数据对象的映射需要我们自己处理,如UserRowMapper),我们现在开发一般都使用上层一点的ORM框架,如Hibernate,MyBatis,BeetlSQL。对于Hibernate,Spring Batch有默认的HibernateCursorItemReaderHibernateItemWriter,也可以实现自行使用MyBatisBeetlSQL。个人感觉,从易用性和学习曲线上看,BeetlSQL会更容易上手,社区也挺活跃,因此,本文介绍一下使用Spring Batch结合BeetlSQL进行数据库到数据库的数据同步。

2.开发环境

  • JDK: jdk1.8
  • Spring Boot: 2.1.4.RELEASE
  • Spring Batch:4.1.2.RELEASE
  • BeetlSQL: 1.1.77.RELEASE
  • 开发IDE: IDEA
  • 构建工具Maven: 3.3.9
  • 日志组件logback:1.2.3
  • lombok:1.18.6

3.BeetlSQL简要说明

按官方文档,BeetlSQL是一个全功能DAO工具, 同时具有Hibernate优点 & Mybatis优点功能,适用于承认以SQL为中心,同时又需求工具能自动能生成大量常用的SQL的应用。详细可参考官方文档。从最近一段时间的使用过程中,感觉从开发效率、维护性、易用性,都比较优秀。

4.使用BeetlSQL读写数据库

本示例依然是基于上一篇文章的示例功能,从源数据库中读取test_user表的数据,然后经过处理,再写入到目标数据库的test_user表中。只是不是使用Spring Batch内置的JdbcCursorItemReaderJdbcBatchItemWriter,改为使用BeetlSQL进行读写。完整示例可参考代码

4.1 引入BeetlSQL依赖

BeetlSQL提供了Spring Bootstarter来实现自动配置,在pom.xml添加以下依赖即可:



	com.ibeetl
	beetl-framework-starter
	1.1.77.RELEASE

添加后,会添加两个依赖,分别是beetl-2.9.9,和beetlsql-2.11.2,如下图:

beetlsql

4.2 编写多数据源的dao

4.2.1 添加配置文件

由于我们是使用多数据源进行读写,关于多数据源的配置,上一篇文章已经进行了描述,此处不再说明。BeetlSQL对多数据源有较好的支持,只需要简单的配置即可。具体可参考官方文档。下面对此做简单说明。在application.properties文件中添加以下配置:

#beetlsql配置
#默认/sql,可不设置
#beetlsql.sqlPath=/sql
#dao文件的后缀
beetlsql.daoSuffix=Repository
#自动加载和查找的dao文件所在包
beetlsql.basePackage=me.mason.springbatch
#默认org.beetl.sql.core.db.MySqlStyle,可不设置
#beetlsql.dbStyle=org.beetl.sql.core.db.MySqlStyle
#多数据源dao文件所在位置,以包区分读写数据源
beetlsql.ds.datasource.basePackage=me.mason.springbatch.dao.local
beetlsql.ds.originDatasource.basePackage=me.mason.springbatch.dao.origin
beetlsql.ds.targetDatasource.basePackage=me.mason.springbatch.dao.target
beetlsql.mutiple.datasource=datasource,originDatasource,targetDatasource

说明:

  • beetlsql.daoSuffix表示Dao文件的后缀,BeetlSql会根据此后缀加载Dao
  • beetlsql.mutiple.datasource数据源名与数据源的配置一致。

4.2.2 添加dao文件

添加上述配置后,由于使用包名来区分读写数据源的Dao,因此需要创建对应的包,分别在工程中me.mason.springbatch下创建dao.local,dao.origindao.target三个包,分别存放需要读取的三个数据源对应的Dao。在本示例中,仅使用源数据库和目标数据库,因此,仅需要在dao.origin中添加OriginUserRepository进行源数据读操作,在dao.target中添加TargetUserRepository进行写操作即可。(注意,由于配置中指定是使用后缀Repository,因此此处的类名需要使用它作为后缀)。如下:

OriginUserRepository.java

@Repository
public interface OriginUserRepository extends BaseMapper {
    List getOriginUser(Map params);
}

TargetUserRepository.java

@Repository
public interface TargetUserRepository extends BaseMapper {
}

说明:

  • 使用注解@Repository标注是数据读写dao
  • 继承BaseMapper,以使用BeetlSQL内置的增删改查能力
  • 对于OriginUserRepositorygetOriginUser是自定义的数据读取操作,此操作具体实现是使用写在sql/user.md中的sql语句(sql语句在后面将说明)。

4.3 编写sql文件

根据BeetlSql的功能,开发者可以自定义sql语句进行数据库操作,而sql语句是以markdown文件的形式保存,支持beetl的语法,支持参数化语句,逻辑判断等操作,这就有点像Mybatis中的xml语句,但显示和修改会更友好。具体sql文件更详细的使用功能,读者可到官文档查阅。

本示例中,上面OriginUserRepository自定义了getOriginUser函数,以此函数名即可编写sql进行读数据(当然,由于此sql比较简单,完全可以不写到markdown文件也可以实现,此处仅做示例展示此功能而已)。如下所示:

getOriginUser
===
* 查询user数据

select * from test_user

接着就是写数据需要用到的sqlinsertUser是这条语句的名称,在插入数据时会使用到:

insertUser
===
* 插入数据

insert into test_user(id,name,phone,title,email,gender,date_of_birth
    ,sys_create_time,sys_create_user,sys_update_time,sys_update_user)
values (#id#,#name#,#phone#,#title#,#email#,#gender#,#dateOfBirth#
    ,#sysCreateTime#,#sysCreateUser#,#sysUpdateTime#,#sysUpdateUser#)

由上面的sql可见,这跟我们平时写sql没有区别,其中以##包括的是参数,即实体User的字段。

4.4 编写读组件ItemReader

经过上面的配置和添加的dao类,我们已经有了读和写数据的能力。使用OriginUserRepository,可以编写Spring BatchItemReader。读取数据后在内存中,在read()时返回。如下所示:

@Slf4j
public class UserItemReader implements ItemReader {
    protected List items;

    protected Map params;
    @Autowired
    private OriginUserRepository originUserRepository;

    @Override
    public User read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException {
        if(Objects.isNull(items)){
            //使用beetlsql的md执行sql
            items = originUserRepository.getOriginUser(params);
            if(items.size() > 0){
                return items.remove(0);
            }
        }else{
            if (!items.isEmpty()) {
                return items.remove(0);
            }
        }
        return null;
    }

    public Map getParams() {
        return params;
    }

    public void setParams(Map params) {
        this.params = params;
    }
}

说明:

  • originUserRepository.getOriginUser执行的是user.mdgetOriginUser查询语句。
  • 查询后数据保存在List,在read()时返回其中的数据。全部返回后会返回null,以表示结束。
  • BeetlSql支持使用Map来传参,本示例暂时没有使用。

4.5 编写写组件ItemWriter

读取到数据后,使用TargetUserRepository,执行上面编写的insertUser来插入数据。如下所示

public class UserItemWriter implements ItemWriter {
    @Autowired
    private TargetUserRepository targetUserRepository;

    @Override
    public void write(List items) throws Exception {
        targetUserRepository.getSQLManager().updateBatch("user.insertUser",items);
    }
}

说明:

  • 使用SQLManagerupdateBatch批量写数据
  • user.insertUser中,usermarkdown文件的名称,也是实体名称,insertUser是写的sql语句。

4.6 组装完整任务

新建BeetlsqlBatchConfig.java,作为Spring Batch的任务配置

4.6.1 注入读写组件

使用上面已写的ReaderWriter,使用Bean注解加入,如下:

@Bean
public ItemReader beetlsqlItemReader() {
    UserItemReader userItemReader = new UserItemReader();
    //设置参数,当前示例可不设置参数
    Map params = CollUtil.newHashMap();
    userItemReader.setParams(params);
    return userItemReader;
}

@Bean
public ItemWriter beetlsqlWriter() {
    return new UserItemWriter();
}

4.6.2 组装任务

使用StepJob,实现完整的任务配置,如下:

@Bean
public Job beetlsqlJob(Step beetlsqlStep,JobExecutionListener beetlsqlListener){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return jobBuilderFactory.get(funcName)
            .listener(beetlsqlListener)
            .flow(beetlsqlStep)
            .end().build();
}
@Bean
public Step beetlsqlStep(ItemReader beetlsqlItemReader ,ItemProcessor beetlsqlProcessor
        ,ItemWriter beetlsqlWriter){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return stepBuilderFactory.get(funcName)
            .chunk(10)
            .reader(beetlsqlItemReader)
            .processor(beetlsqlProcessor)
            .writer(beetlsqlWriter)
            .build();
}

4.7 测试

参考上一文章的Db2DbJobTest,编写BeetlsqlJobTest文件。测试前先把目标数据库中的test_user库清空,然后启动Job进行测试,结果跟Db2DbJobTest是一致的。日志输出如下:

便捷的数据读写-spring batch(5)结合beetlSql进行数据读写_第1张图片

在上面使用BeetlSql过程中,可见有几个好处:

  • 不需要自己写RowMapper对数据进行映射,更简单。
  • sql语句写在markdown文件中,修改更灵活。
  • sql语句执行输出在日志中,更清晰。

5.总结

本文使用Spring Batch对数据库到数据库的示例做了一个改动,使用BeetlSQL进行多数据源的读写操作,以实现更简单、更灵活、更清晰的数据库读写。希望对想要用Spring Batch同时又想了解BeetlSql的读者有帮助。

你可能感兴趣的:(Spring,Batch入门与实践,springbatch)