使用Oozie中workflow的定时任务重跑hive数仓表的历史分期调度

在数仓和BI系统的开发和使用过程中会经常出现需要重跑数仓中某些或一段时间内的分区数据，原因可能是：1.数据统计和计算逻辑/口径调整，2.发现之前的埋点数据收集出现错误或者埋点出现错误，3.业务数据库出现人为修改历史数据的情况。当出现第一和第二种情况的时候需要对数仓各层使用到该数据源的表及依赖这些表的数据模型和表的出现问题时间起的分区都重跑一遍，出现第三种情况的时候需要从ods层(数据同步导入层)及以上的各层都重跑一遍。重跑历史分区的操作是比较麻烦的，如果只是把相应的表的workflow一天天的分区重新运行的话费时费力，那么有没有更智能一点的方法呢？我们可以通过oozie的workflow的定时任务配置Coordinator来实现。

1.第一步，在需要重跑的表和数据模型的workflow的页面上点击“计划”配置按钮进入coordinator设置页面

 

2.第二步，在coordinator页面需要配置四个地方的参数，它们分别是：a.运行时频 b.重跑历史分区时间段 c.时区  d.脚本参数

（1）运行时频，视频可以是 小时/日/周/月/年 最常用的的日，因为数仓一般都是以日期作为分区字段

（2）时间区间和时区，时间区间是需要重跑的时间范围(注意如果开始时间第一天也要重跑的话后面的时间应该设为比时频里的早)，时区需要选择Asia/Shanghai一项

（3）脚本参数是数据模型和报表脚本中使用到的需要由系统提供的参数

 

3.第三步，点击右上角的“保存”和“提交”按钮

点击提交后会弹出一个提交My Coordinator的对话框，这里需要把原start_date和end_date里的Z改为+0800，改好后点击提交

4.第四步，提交后就可以在Coordinator中看到各历史分区的workflow会依次执行，并提示成功或失败

 

 

转载于:https://www.cnblogs.com/shujuxiong/p/10233517.html