oracle-hive同步-merge/delete

通常在hive中进行数据处理，处理好的数据再推送到oracle中使用，需要保持两边数据一致，再推送的时候最好的方式是sqoop的merge形式全量推送，但这样消耗的资源、时间很长，可以只推送新增、更新、删除的数据给oracle，之后再再oracle中对目标表再单独的执行一段merge程序进行更新，筛选出这些数据的sql可参考下面这样的示例:

其中：from  使用多模式插入

     tel_m存储 新增、更新的数据

     tel_d存储需要删除的数据、无效数据

 from( select pre.tel_num  as  pre_tel_num,
             pre.shield_code        as  pre_shield_code,
              pre.shield_reason        as  pre_shield_reason,
             new.tel_num,
             new.shield_code,
              new.shield_reason
        from (select tel_num,
                     shield_code,
                     shield_reason,
                     pa_tcims_concat(tel_num,shield_code,shield_reason) as all_columns 
                  from database_name.view_risk_tel where op_new = '${pre_new}') pre
                full outer join (select tel_num,
                                        shield_code,
                                        shield_reason,
                     pa_tcims_concat(tel_num,shield_code,shield_reason) as all_columns 
                                   from database_name.view_risk_tel where op_new = '${nominal_formate_date}') new
                  on pre.all_columns = new.all_columns
) ainsert overwrite table database_name.tel_m partition(op_new='${nominal_formate_date}')
select a.tel_num,
       a.shield_code,
         a.shield_reason
 where a.pre_tel_num is null
insert overwrite table database_name.tel_d partition(op_new='${nominal_formate_date}')
select a.pre_tel_num    as tcims_cust_id,
       a.pre_shield_code             as shield_code,
         a.pre_shield_reason      as shield_reason 
 where a.tel_num is null;

--去掉D表中 在M表中存在的数据
insert overwrite table database_name.tel_d partition
  (op_new = '${nominal_formate_date}')
  select d.tel_num, d.shield_code, d.shield_reason
    from (select a.tel_num, a.shield_code, a.shield_reason
            from database_name.tel_d a
           where op_new = '${nominal_formate_date}') d
    left outer join (select b.tel_num, b.shield_code, b.shield_reason
                       from database_name.tel_m b
                      where op_new = '${nominal_formate_date}') m on d.tel_num =
                                                                     m.tel_num
   where m.tel_num is null;
之后将这两个表推送到oracle,再单独对roacle的tel表执行一段merge程序即可使两边保持一致，避免了全量推送；节省了资源；