华为ROMA平台数据集成FDI配置

华为ROMA平台数据集成FDI配置问题记录

因为使用了华为的一套数据加工平台，需要将本地mysql数据库的数据同步到华为dayu平台做数据加工，首先将本地mysql的表数据通过ROMA平台同步到dws数据仓库。

1.在ROMA实例中编写数据集成FDI定时任务：

2.定时任务的配置：

有几个注意点：
1.第一次执行会将数据源表中create_time字段大于“时间戳初始值”的数据都同步过来，但是官方文档写的刚好和我实际执行的判断机制相反。

2.然后定时任务第二次执行就只会同步增量数据了，判断增量的数据规则是create_time大于上次定时任务执行的时间，官方文档定义的增量数据时间区间是如下图标注，与我实际执行的相反。

官方文档对于时间戳初始值的说明：

3.【重置迁移时间初始值】首次执行定时任务，打不打开无所谓，但是后面修改、终止定时任务后再执行时一定要打开，不打开的话就容易出现同步的数据为0条，具体机制不祥。我的理解是：首次执行定时任务时会默认按上面的“时间戳初始值”来判断需要同步的数据（create_time > 时间戳初始值），但是再次执行时，如果不打开这个按钮的话，就会读取上次定时任务的执行时间，以这个时间作为开始时间来判断需要同步的数据（create_time > 上次定时任务执行的时间），所以会出现同步成功的数据为0条的情况。文档也未对此属性加以说明，我总结的是这个规律。

华为文档：https://support.huaweicloud.com/bestpractice-roma/roma_05_0002.html
或者直接在华为云服务网站搜索“从MySQL获取数据并存储到OBS”关键字

以上是我多次实际测试的结果，为啥与华为文档有出入，暂时还不得知，华为文档也不够详细。