DataX-Web 解决任务批量构建Bug

前文回顾：
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》

---

在使用任务批量构建功能过程中，偶然发现异构数据库之间表的对应关系错乱，最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上，因为大小写的ASCII码不一样，就比如 mysql 导入到 oracle，我们可以做如下改动。

方法一：排序时忽略大小写。

方法二：两边先全部转大写或小写排序，再取出原表名。如下

修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl类 的 getTables() 方法

@Override
public List<String> getTables(Long id, String tableSchema) throws IOException {
    //获取数据源对象
    JobDatasource datasource = jobDatasourceService.getById(id);
    //queryTool组装
    if (ObjectUtil.isNull(datasource)) {
        return Lists.newArrayList();
    }
    if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {
        return new HBaseQueryTool(datasource).getTableNames();
    } else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {
        return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());
    } else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {
        //如果是MYSQL或者ORACLE 对表名重新排序
        BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
        if (StringUtils.isBlank(tableSchema)) {
            List<String> list = qTool.getTableNames();
            return parseList(list);
        } else {
            List<String> list = qTool.getTableNames(tableSchema);
            return parseList(list);
        }
    } else {
        BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
        if (StringUtils.isBlank(tableSchema)) {
            return qTool.getTableNames();
        } else {
            return qTool.getTableNames(tableSchema);
        }
    }
}

/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List<String> parseList(List<String> list) {
    List<String> upList = new ArrayList<>();
    List<String> resultList = new ArrayList<>();
    Map<String,String> map=new HashMap<>();
    for (String str : list) {
        //转为大写加入新集合
        String upStr = str.toUpperCase();
        upList.add(upStr);
        map.put(upStr,str);
    }
    //对集合重新排序
    Collections.sort(upList);

    //顺序取出原表名
    for (String upstr : upList) {
        String oldStr=map.get(upstr);
        resultList.add(oldStr);
    }
    return resultList;
}

---

更多技术干货，请持续关注程序员大佬超。
原创不易，转载请注明出处。