【单元测试】基于springboot test + jooq + flyway + h2的DAO层测试

意义

如果dao层没有分支和特殊逻辑，测试dao层并不麻烦，一个方法写一个单元测试即可，麻烦的是数据准备。
基于jooq的dao层几乎都是sql语句，所以测试dao层就是测试sql语句。
暂不讨论if else分支写在dao层是否存在、是否合理，dao层测试有如下意义：

• dao层测试可以将一些低级的语法错误、字段映射错误、类型映射错误等低级问题及时发现；
• 当修改了数据库的字段或dao层的sql语句，也能尽早发现sql语句中可能存在的问题；
• h2内存数据库可以剔除单元测试对数据库环境的依赖，同时杜绝对测试数据库的污染；
• 提升代码覆盖率。

集成

springboot 1.x 和 springboot 2.x中默认的flyway版本是有差别的，不同版本对h2内存数据库的支持也不一样，在集成过程中可能会出现大量关于flyway相关的错误，到时候会记录相应错误，并提供解决方案。

这里只记录springboot 1.5.21和springboot 2.1.3。

springboot test

首先准备一下springboot test配置：

在test文件夹下面创建resources文件夹，并mark as test resources root，在test/resources文件夹创建application.properties，示例如下：

server.port=8080
eureka.client.serviceUrl.defaultZone=http://localhost:8761/eureka/

# 关闭 flyway
flyway.enabled=false

pom

添加flyway和h2相关依赖

<dependency>
    <groupId>org.flywaydbgroupId>
    <artifactId>flyway-coreartifactId>
dependency>
 
<dependency>
    <groupId>com.h2databasegroupId>
    <artifactId>h2artifactId>
    <scope>testscope>
dependency>

flyway

flyway数据可以直接使用真实的flyway脚本，但是由于大部分项目都不是一开始就是用了flyway，所以会有很多表没有创建脚本，因此这里全部使用伪造的flyway记录，方便测试。

关于为什么不能在表名前加schema名称：schema会被h2默认转换成大写，即使已经在url中设置了DATABASE_TO_UPPER=false，而jooq渲染sql的时候是默认添加了小写的schema名称，这会导致执行任何jooq测试都会报找不到schema，于是干脆不使用schema名称，这就导致多个数据库支持有风险：如果多个schema中有相同的表名，那么会出现混乱，但在多个schema中没有相同表名的情况下，不存在多schema支持风险；也可以修改jooq配置，让渲染的sql使用大写的schema名称，但暂未找到相关配置。

在test文件夹中准备flyway数据：

1. 修改application.properties，只保留一个flyway配置——flyway.enabled=false，没错关闭flyway！
2. 在resources文件夹中新建package：db.migration，在db.migration包中创建sql文件：V1_1_1__create_tables.sql，在这个sql中定义相关建表语句，sql命名规范和平常一样，版本可以随心所欲，不重复就行，这里假设只有users一张表，注意不要在表名前加schema名称(users ✔ | dbname.users ✘)：

   DROP TABLE IF EXISTS `users`;
   CREATE TABLE `users` (
     `ID` varchar(36) NOT NULL PRIMARY KEY,
     `USERNAME` varchar(100) DEFAULT NULL COMMENT '用户名'
   );
   

3. 在db.migration包中创建sql文件：V1_1_2__data_for_test.sql，这个sql用于数据初始化，比如不是本服务入库的数据或者类似全局配置字典表的数据，本服务只负责读取这些数据，注意不要在表名前加schema名称(users ✔ | dbname.users ✘)：

   INSERT INTO `users` (`ID`, `USERNAME`) VALUES ("id", "name"); 
   

datasource/jooq/flyway配置

在test文件夹下测试源代码包中创建配置：MockTestProfileConfig，手动配置Datasource和FlyWay：
低版本flyway：

package github.clyoudu.dbaas;
 
import lombok.extern.slf4j.Slf4j;
import org.flywaydb.core.Flyway;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.datasource.DriverManagerDataSource;
 
import javax.sql.DataSource;
 
@Configuration
@Slf4j
public class MockTestProfileConfig {
 
    @Bean
    public DataSource dataSource() {
        DriverManagerDataSource dataSource = new DriverManagerDataSource();
        dataSource.setDriverClassName("org.h2.Driver");
        dataSource.setUrl("jdbc:h2:mem:public;MODE=MYSQL;DATABASE_TO_UPPER=false;DB_CLOSE_DELAY=-1");
        dataSource.setUsername("sa");
        dataSource.setPassword("sa");
 
        log.info("try to install test database....");
        Flyway flyway = new Flyway();
        flyway.setDataSource(dataSource);
        flyway.setLocations("filesystem:src/test/resources/db/migration");
        flyway.migrate();
        log.info("install test database successfully!");
 
        return dataSource;
    }
 
}

高版本flyway（可也用低版本flyway中初始化flyway的方式，但低版本的方法在高本版中已经是Deprecated）：

package github.clyoudu.dbaas;
 
import lombok.extern.slf4j.Slf4j;
import org.flywaydb.core.Flyway;
import org.flywaydb.core.api.configuration.FluentConfiguration;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.datasource.DriverManagerDataSource;
 
import javax.sql.DataSource;
 
 
@Configuration
@Slf4j
public class MockTestProfileConfig {
 
    @Bean
    public DataSource dataSource() {
        DriverManagerDataSource dataSource = new DriverManagerDataSource();
        dataSource.setDriverClassName("org.h2.Driver");
        dataSource.setUrl("jdbc:h2:mem:public;MODE=MYSQL;DATABASE_TO_UPPER=false;DB_CLOSE_DELAY=-1");
        dataSource.setUsername("sa");
        dataSource.setPassword("sa");
 
        log.info("try to install test database....");
        FluentConfiguration configuration = new FluentConfiguration().dataSource(dataSource).locations("filesystem:src/test/resources/db/migration");
        Flyway flyway = new Flyway(configuration);
        flyway.migrate();
        log.info("install test database successfully!");
 
        return dataSource;
    }
 
}

修改jooq baseDao，渲染sql时不渲染schema名称：

package github.clyoudu.repository.dao;
 
 
import github.clyoudu.common.listener.JooqLogListener;
import github.clyoudu.repository.jooq.dbaas.Tables;
import org.jooq.*;
import org.jooq.conf.Settings;
import org.jooq.impl.DSL;
import org.jooq.impl.DataSourceConnectionProvider;
import org.jooq.impl.DefaultConfiguration;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.datasource.TransactionAwareDataSourceProxy;
import org.springframework.stereotype.Repository;
 
import javax.annotation.PostConstruct;
import javax.sql.DataSource;
import java.sql.Connection;
import java.sql.SQLException;
 
@Repository
public abstract class DbaasDao extends Tables {
    private DataSource dataSource;
    DSLContext create;
 
    @Autowired
    public void setDataSource(DataSource dataSource) {
        this.dataSource = dataSource;
    }
 
    @PostConstruct
    private void init() throws SQLException {
        TransactionAwareDataSourceProxy proxy = new TransactionAwareDataSourceProxy(dataSource);
        Configuration configuration = new DefaultConfiguration();//这里单独声明configuration
        configuration.set(new DataSourceConnectionProvider(proxy)).set(getType(configuration)).set(new JooqLogListener());
 
        create = DSL.using(configuration);
    }
 
    /**
     * 这里发现datasource是h2就不渲染schema名称
     */
    private SQLDialect getType(Configuration configuration) throws SQLException {
        SQLDialect sqlType = SQLDialect.MYSQL;
        try (Connection conn = dataSource.getConnection()) {
            String type = conn.getMetaData().getDriverName();
            if (type.startsWith("H2")) {
                sqlType = SQLDialect.H2;
                configuration.set(new Settings().withRenderSchema(false));//h2数据库不渲染schema名称
            }
        }
        return sqlType;
    }
}

第一个测试

package github.clyoudu.repository.dao;
 
import github.clyoudu.repository.jooq.dbaas.tables.records.UsersRecord;
import org.junit.Assert;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
 
/**
 * Create by IntelliJ IDEA
 *
 * @author chenlei
 * @dateTime 2019/8/6 16:19
 * @description UsersDaoTest
 */
@SpringBootTest
@RunWith(SpringRunner.class)
public class UsersDaoTest {
 
    @Autowired
    private UserDao userDao;
 
    @Test
    public void test() {
       UsersRecord record = userDao.getUser("id");
        Assert.assertEquals("name", record.getUsername());
    }
 
}

问题列表

springboot 版本	flyway 版本	h2 版本	jooq 版本	问题	原因	解决方案
1.5.21.RELEASE	3.2.1(default)	1.4.199(default)	3.9.6(default)	Caused by: org.flywaydb.core.api.FlywayException: Unable to check whether schema “PUBLIC” exists	因为1.5.21.RELEASE中flyway版本为3.2.1，不会主动创建不存在的schema，而h2内存数据库的默认schema名称是PUBLIC，h2内存数据库也不会主动创建schema	提升flyway版本至5.2.4
1.5.21.RELEASE	5.2.4	1.4.199(default)	3.9.6(default)	Caused by: org.h2.jdbc.JdbcSQLSyntaxErrorException: Table “schemata” not found; SQL statement: SELECT COUNT(*) FROM INFORMATION_SCHEMA.schemata WHERE schema_name=? [42102-199]	h2版本过高，暂时不知道如何适配高版本h2数据库	降低h2数据库版本至1.4.197
1.5.21.RELEASE	5.2.4	1.4.197	3.9.6(default)	flyway 执行migration报syntax error	h2语法和mysql语法不同	1.建表语句：主键不能在建表语句末尾才指定，只能在字段末尾指定，主键不能有注释，指定表的engine、charset、comment统统不支持，unique key名称全局不能重复。 2.Insert语句：enum列不能为空，即使指定了默认值也不行，但mysql可以在指定了默认值的情况下不指定enum列的值。
2.1.3.RELEASE	5.2.4(default)	1.4.197(defalut)	3.11.9(default)	无	无	无