【解决问题的还得是看源码来得快】Datax脏数据配置问题解决

背景

        最近在用Datax进行数据测试，从sql server的数据输出到Doris，Doris安装在虚拟机上，只有3G内存，FE和BE同时安装在一起，由于内存过于小，在数据导入的时候想通过输出速率的方式解决问题，同时也解决脏数据限制配置的问题。

        脏数据限制会报错，如下图所示：

脏数据条数检查不通过，限制是[0]条，但实际上捕获了[1]条

        网上找了一下没有比较明确的文档，所以直接下载Datax的源码进行搜索。

排查过程

        源码中进行全文搜索可以发现是在com.alibaba.datax.core.util.ErrorRecordChecker#checkRecordLimit  中报了错误

 

        随着源码进行向上追溯，可以发现最终recordLimit 参数是在

com.alibaba.datax.core.util.ErrorRecordChecker#ErrorRecordChecker(com.alibaba.datax.common.util.Configuration)  中设置的

 public static final String DATAX_JOB_SETTING_ERRORLIMIT_RECORD = "job.setting.errorLimit.record";

 解决方案

        这个时候我们就能够知道，json配置文件中的record配置项就是脏数据的限制条件。

 完工。