nifi 实现数据库到数据库之间数据同步

数据同步

  界面如下:

    nifi 实现数据库到数据库之间数据同步_第1张图片

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    nifi 实现数据库到数据库之间数据同步_第2张图片

  DBCPConnectionPool

    nifi 实现数据库到数据库之间数据同步_第3张图片

  ConvertAvroToJSON

    nifi 实现数据库到数据库之间数据同步_第4张图片

  ConvertJSONToSQL

    nifi 实现数据库到数据库之间数据同步_第5张图片

  PutSQL

    nifi 实现数据库到数据库之间数据同步_第6张图片

  SplitJson

    nifi 实现数据库到数据库之间数据同步_第7张图片

  EvaluateJsonPath

    nifi 实现数据库到数据库之间数据同步_第8张图片

  ReplaceText

    nifi 实现数据库到数据库之间数据同步_第9张图片

  PutSQL

    nifi 实现数据库到数据库之间数据同步_第10张图片

  连接各个组件,然后启动所有组件,即可运行

 

你可能感兴趣的:(nifi 实现数据库到数据库之间数据同步)