定时任务调度——oozie总结

简介

（翻译自官网）

Oozie是一个用于管理Apache Hadoop作业的工作流调度程序系统。

Oozie Workflow job是由多个Action组成的有向无环图（DAG）。

Oozie Coordinator job是根据时间（频率）和数据可用性触发的可重复执行的Oozie Workflow job（简单讲就是根据时间或数据条件，规划workflow的执行）。

Oozie与Hadoop技术栈的项目集成，支持多种类型的Hadoop作业（例如Java map-reduce，Streaming map-reduce，Pig，Hive，Sqoop和Distcp，Spark）以及系统特定的工作（例如Java程序和shell脚本）。

Oozie是一个可水平扩展，可靠和可使用扩展插件（scalable, reliable and extensible）的系统。

使用oozie命令行执行shell workflow

这里使用cdh虚拟机自带的oozie examples中的例子，执行hdfs dfs -put examples examples，将examples上传到hdfs。
打开apps/shell/ 可以看到job.properties和workflow.xml两个文件，在workflow.xml中定义action和workflow，在job.properties中定义各种变量。示例如下：

job.properties

nameNode=hdfs://quickstart.cloudera:8020 #指定hadoop的nameNode
jobTracker=quickstart.cloudera:8032 #指定jobTracker，如果使用yarn则指定为resource manager的applications manager端口
queueName=default
examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/shell #指定workflow.xml的位置

workflow.xml

    
        ${jobTracker}
        ${nameNode}
        
            
                mapred.job.queue.name
                ${queueName}
            
        
        echo
        my_output=Hello Oozie
        
    
    
    


    
        
            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
        
        
    


    Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]


    Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]

可以看到这里定义了一个shell workflow，它的DAG如下：

image

首先是start,end,kill三个控制节点，分别指定了workflow开始时，结束时，kill时的行为。

start指向了一个名为shell-node的action，该action执行了ehco命令，并使用capture-output获取标准输出。如果执行成功，则进入decision node check-output如果输出结果正确则顺利结束，否则输出错误信息。

然后使用以下命令测试（这里的config是使用的是本地文件）

oozie job -oozie http://quickstart.cloudera:11000/oozie -config ~/oozie-examples/examples/apps/shell/job.properties -dryrun

如果成功，会显示OK

然后使用一下命令执行该workflow

oozie job -oozie http://quickstart.cloudera:11000/oozie -config ~/oozie-examples/examples/apps/shell/job.properties -run

最后，使用oozie job -oozie http://quickstart.cloudera:11000/oozie -info workflowID查看任务运行状态

也可以在hue中或者oozie web控制台中查看任务运行状态。

配置hive任务

数据准备：使用了权力与荣耀2017 ios的addcash的数据，test.hql(插入一条数据)

首先需要上传hive-site.xml到hdfs，Oozie需要通过该文件找到Hive Metastore，另外上传写好的hql文件到hdfs。然后向workflow中加入hive script action。并按图中的配置设置好hive脚本和hive-site.xml。保存即可。

image

写workflow.xml和使用hue配置action，两者是等价的。

最后使用coordinator设定每小时执行一次。也可以设置输入，当指定位置有数据时才开始执行；设置输出，将数据输出到指定位置。

如果coordinator设定的开始时间比当前时间早的话，会先将开始时间和当前时间之间应该执行的workflow全部执行一遍。

image

参考文献：

Oozie官方文档

Hue官方文档

cloudera community