【总结】Datax使用过程中遇到的问题

工作中使用到阿里的数据同步工具Datax，发现除了不支持redis作为读写的数据源之外，支持几乎所有常见类型的数据源

在使用过程中遇到了几个问题，这里记录一下：

ps：Datax的使用方法不做介绍。

---

 

问题场景：

1、数据从MySQL同步到 HDFS ，最终用hive进行使用，发现字段值为时间的数值在同步过程中会出现八小时差值

解决方法：mysqlreader的jdbcUrl参数指定时区，如：

jdbc:mysql://127.0.0.1:3306/user?serverTimezone=Hongkong

 

2、数据从HDFS同步到MySQL，有个timestamp类型字段显示为‘0000-00-00 00:00:00’

解决方法：因为这个字段是MySQL自动更新的（DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENR_TIMESTAMP），所以同步时忽略这个字段，让MySQL自动生成；

这里我还踩了一个坑，建的hive表把这个字段值处理了一下，cast(null as timestamp)，这是错误做法