Oozie调用hive案例——Oozie4.3.1

@羲凡——只为了更好的活着

Oozie调用hive案例——Oozie4.3.1

oozie调用hive准备三个文件 job.properties、script.q、workflow.xml

1.job.properties

# 当你配置了dfs高可用，fs.defaultFS参数对应的名字，
# 否者写hdfs://deptest1:8020或者hdfs://deptest1:9000
nameNode=hdfs://ns
# 当你配置的是高可用的yarn，yarn.resourcemanager.cluster-id参数对应的名字
# 否者写deptest2:8032
jobTracker=rmcluster
# 任务所用的队列，根据自己公司情况写，这里我选着默认
queueName=default
# examplesRoot这个名字最好不要改，有时会出错，切记！
examplesRoot=aarontest/oozie/hive
# oozie能使用hdfs上系统lib目录
oozie.use.system.libpath=true
script=${nameNode}/${examplesRoot}/script.q
oozie.wf.application.path=${nameNode}/${examplesRoot}/workflow.xml
outputpath=/aarontest/data/oozie/hive

2.script.q

# 查询一个表并写出到hdfs上OUTPUT文件夹下
INSERT OVERWRITE DIRECTORY '${OUTPUT}' SELECT * FROM aarontest.staff;

3.workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="hive-wf">
    <start to="hive-node"/>

    <action name="hive-node">
        <hive xmlns="uri:oozie:hive-action:0.2">
            <job-tracker>${jobTracker}job-tracker>
            <name-node>${nameNode}name-node>
            
	    	<job-xml>${nameNode}/hive/hive-site.xmljob-xml>
            
            <configuration>
                <property>
                	<name>mapred.job.queue.namename>
                	<value>${queueName}value>
                property>
                
				<property>
                	<name>hive.metastore.urisname>
                	<value>thrift://deptest20:9083value>
                property>
            configuration>
            <script>script.qscript>
            <param>OUTPUT=${outputpath}param>
        hive>
        <ok to="end"/>
        <error to="fail"/>
    action>

    <kill name="fail">
        <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]message>
    kill>
    <end name="end"/>
workflow-app>

4.提交

# 将文件上传到hdfs上(job.properties中examplesRoot的路径)
hdfs dfs -put hive/ aarontest/oozie/
# 启动oozie任务
oozie job -oozie http://deptest45:11000/oozie -config job.properties -run

-oozie 指定oozie地址
-config 指定任务的配置参数

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流