hadoop上的工作流调度——oozie

Hadoop上的工作流调度

Oozie是一个管理Apache Hadoop任务的工作流调度系统。
Oozie工作流任务是有向无环图。
Oozie协调任务是由时间（频率）和数据是否可获得来触发的oozie工作流。

Oozie是一个可扩展的、可靠的和可延伸的系统。

oozie主要由以下几部分组成：

coordinator.xml和job.properties和workflow.xml。

coordinator.xml：定时调度频率

<coordinator-app name="job_name"
	frequency="${coord:days(1)}" start="${job_start}" end="${job_end}"
	timezone="GMT+08:00" xmlns="uri:oozie:coordinator:0.2">
	<controls>
	    <timeout>2</timeout>
		<concurrency>1</concurrency>
	</controls>

    <action> 
        <workflow>
            <app-path>${application_path}</app-path>
            <configuration>
                <property>
                    <name>sqoop_import_path</name>
                    <value>${coord:dataOut('logData')}</value>
                </property>
                <property>
                    <name>nominalformateDate</name>
                    <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), "yyyyMMdd")}</value>
                </property>
            </configuration>
        </workflow>
    </action>
</coordinator-app>

job.properties：起止时间

hdfs_sqoop_tmp=${namenode_address}/
hdfs_address_prefix=/apps

#coordinator config
job_start=2016-07-15T05:00+0800
job_end=2099-12-31T07:00+0800


#shell
dbTest=test.sh


application_path=${hdfs_address_prefix}/

oozie.coord.application.path=${application_path}

workflow.xml：具体调度的action

<workflow-app xmlns="uri:oozie:workflow:0.2" name="job_name">
   <start to="clean/>
   
   <action name="clean">
        <fs>   
            <delete path="${sqoop_import_path}"/>
        </fs>
        <ok to="dbtTest"/>
        <error to="fail"/>
    </action>
	   
	   <action name="dbtTest">

	   </action>

    <kill name="fail">
        <message></message>
    </kill>
    <end name="end"/>
</workflow-app>

具体的执行语句：

oozie  -Dheader:j_username=$j_username -Dheader:j_password=$j_password job -Dnamenode_address=$namenode_address -Djobtracker_address=$jobtracker_address -Dmapred_job_queue_name=$mapred_job_queue_name -Dpg_connection=$pg_connection -Ddbusername=$pg_username -Ddbpassword=$pg_password --oozie $oozie_url -config  /appcom/apps/test.properties -auth xxx -run -doas $doas_user