Oozie:如何定义Oozie的工作流（workflow）

一、Oozie

       工作流引擎Oozie（驭象者），用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG，而coordinator则用于定时任务触发，相当于workflow的定时管理器，其触发条件包括两类：
       1. 数据文件生成
       2. 时间条件
       Oozie定义了一种基于XML的hPDL （Hadoop Process Definition Language）来描述workflow的DAG。在workflow中定义了
       1. 控制流节点（Control Flow Nodes）
       2. 动作节点（Action Nodes）
       其中，控制流节点定义了流程的开始和结束（start、end），以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop任务、SSH、HTTP、eMail和Oozie子流程等。

二、Oozie调度wordcount mapreduce

### 在oozie目录下创建oozie-apps文件夹
$ cd oozie/
$ sudo mkdir oozie-apps
$ sudo cp examples/apps/map-reduce oozie-apps
$ cd oozie-apps
$ mv map-reduce mr-wordcount-wf
$ cd mr-wordcount-wf
$ ll
-rw-r--r-- 1 root root 1154 Aug 16 20:07 job.properties
drwxr-xr-x 2 root root 4096 Aug 16 19:57 lib/
-rw-r--r-- 1 root root 3483 Aug 16 20:11 workflow.xml

step1. 修改job.properties

nameNode=hdfs://Master:9000
jobTracker=Master:8032
queueName=default
oozieAppsRoot=user/hadoop/oozie-apps
oozieDataRoot=user/hadoop/oozie/datas

# 定义workflow工作的hdfs目录
oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/mr-wordcount-wf/workflow.xml
# mapreduce输出结果的目录
inputDir=mr-wordcount-wf/input
outputDir=mr-wordcount-wf/output

step2. 修改workflow.xml

    
    
        
            ${jobTracker}
            ${nameNode}
            
                
            
            
            
                    mapred.mapper.new-api
                    true
            
            
                    mapred.reducer.new-api
                    true
            
            
            
                    mapreduce.job.queuename
                    ${queueName}
            
            
                    mapreduce.job.map.class
                    mapreduce.WordCount$TokenizerMapper
            
        
            
                    mapreduce.map.output.key.class
                    org.apache.hadoop.io.Text
                
                
                    mapreduce.map.output.value.class
                    org.apache.hadoop.io.IntWritable
            
            
                    mapreduce.input.fileinputformat.inputdir
                    ${nameNode}/${oozieDataRoot}/${inputDir}
            
            
            
                    mapreduce.job.reduce.class
                    mapreduce.WordCount$IntSumReducer
            
            
                    mapreduce.job.output.key.class
                    org.apache.hadoop.io.Text
            
                
                    mapreduce.job.output.value.class
                    org.apache.hadoop.io.IntWritable
             

            
                    mapreduce.output.fileoutputformat.outputdir
                    ${nameNode}/${oozieDataRoot}/${outputDir}
            
            
        
        
        
    
    
        Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
    
    

step3. 将自定义的wordcount程序，打包成jar包放在lib目录下

$ sudo cp bigdata-1.0-SNAPSHOT.jar /opt/cloudera/oozie-apps/mr-wordcount-wf/lib/

step4. 将oozie-apps整个文件上传到hdfs文件系统上

$ ./bin/hdfs dfs -put /opt/cloudera/oozie/oozie-apps  .
### 1.创建oozie存放数据的文件夹，并上传输入数据
$ ./bin/hdfs dfs -mkdir oozie/datas
$ ./bin/hdfs dfs -put -p input oozie/datas

step4. 执行Oozie job

$ cd oozie
$ ./bin/oozie job -oozie http://Master:11000/oozie -config oozie-apps/mr-wordcount-wf/job.properties -run

注意事项：
在本地文件oozie 文件下，也需要有和hdfs文件系统相匹配的job.properties目录才可以。也就是说：

hdfs:oozie-apps/mr-wordcount-wf/job.properties
本地文件系统：在命令执行的当前目录（即，oozie目录）下，也要有一致的路径：
oozie-apps/mr-wordcount-wf/job.properties

至此，执行一个Oozie 的mapreuce工作流的过程结束！