如何把odps上的表同步到es并将结果修改

首先,需要三个脚本

1.cleaner.js

2.schema.json

3.manual.sh



Cleaner.js  上图


如何把odps上的表同步到es并将结果修改_第1张图片
如图

1.有些表需要timestamp这个字段。但是对于一些维表。这个字段是不存在的。,所以依赖自身的dt。但dt是依赖父类的。所以在这里添加

2.这里是和4处对应的。

3.设置id

4.处理映射

schema.json就是结构体


如何把odps上的表同步到es并将结果修改_第2张图片
如图

manual.sh


如何把odps上的表同步到es并将结果修改_第3张图片

你可能感兴趣的:(如何把odps上的表同步到es并将结果修改)