DataX调优及常见问题

jvm参数

在datax 中导数据使用过程中往往会因为，目标数据过大导致datax oom，那么可以调大datax的jvm参数来防止oom,在python命令后，使用 -jvm=”-Xms5G -Xmx 5G”来调大

python datax.py  --jvm="-Xms5G -Xmx5G" ../job/test.json

writeMode Insert ignore

当datax 导入mysql数据时，可能会因为有有数据报错，导致datax导数据会异常慢，那么可以修改mysqlwriter的writeMode模式 修改为Insert ignore 忽略报错，速度会显著提升。

java.io.IOException: Maximum column length of 100,000 exceeded in column...异常信息

如果报java.io.IOException: Maximum column length of 100,000 exceeded in column...异常信息，说明数据源column字段长度超过了100000字符。
需要在json的reader里增加如下配置

"csvReaderConfig":{
   "safetySwitch": false,
   "skipEmptyRecords": false,
   "useTextQualifier": false
}
safetySwitch = false;//单列长度不限制100000字符