【解决问题的还得是看源码来得快】Datax脏数据配置问题解决

背景

        最近在用Datax进行数据测试,从sql server的数据输出到Doris,Doris安装在虚拟机上,只有3G内存,FE和BE同时安装在一起,由于内存过于小,在数据导入的时候想通过输出速率的方式解决问题,同时也解决脏数据限制配置的问题。

        脏数据限制会报错,如下图所示:

脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1]条

【解决问题的还得是看源码来得快】Datax脏数据配置问题解决_第1张图片

        网上找了一下没有比较明确的文档,所以直接下载Datax的源码进行搜索。

排查过程

        源码中进行全文搜索可以发现是在com.alibaba.datax.core.util.ErrorRecordChecker#checkRecordLimit  中报了错误

【解决问题的还得是看源码来得快】Datax脏数据配置问题解决_第2张图片 

        随着源码进行向上追溯,可以发现最终recordLimit 参数是在

com.alibaba.datax.core.util.ErrorRecordChecker#ErrorRecordChecker(com.alibaba.datax.common.util.Configuration)  中设置的

 public static final String DATAX_JOB_SETTING_ERRORLIMIT_RECORD = "job.setting.errorLimit.record";

 解决方案

        这个时候我们就能够知道,json配置文件中的record配置项就是脏数据的限制条件。

【解决问题的还得是看源码来得快】Datax脏数据配置问题解决_第3张图片

 完工。

你可能感兴趣的:(java,开发语言,大数据,big,data,源码软件)