oozie调度总结（二）

重点介绍Pig、Hive使用Tez模式在Oozie上的调度

1.具体介绍

http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/

http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/

2.Pig with tez

2.1 本地提交（集群支持tez模式）

pig -x tez t.pig 

2.2 oozie调度

（1）配置workflow （注意变红的）

    



    

        

            ${job_tracker}

            ${name_node}

            ${oozie_app_path}/workflow/job.xml

            

                

                    exectype

                    tez

                

                

                    tez.lib.uris

                    ${name_node}/user/tez/tez-0.7.0_base_hadoop2.7.1.tar.gz

                

                

                    tez.use.cluster.hadoop-libs

                    true

                

                

                    mapreduce.job.queuename

                    ${queue_name}

                

            

            

            input1=${input1}

           input12=${input12}

            house_type=1

            lib/udf-1.0.0.jar

            conf/hive-site.xml

        

        

        

    



    

        Job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

    

    

（2）将程序运行中需要的jar包，拷贝到workflow下的lib目录下面（以下几个必须要的）

commons-collections4-4.0.jar  tez-common-0.7.0.jar     tez-runtime-library-0.7.0.jar

tez-api-0.7.0.jar             tez-mapreduce-0.7.0.jar

一个解决上传jar包的方法，是将所有tez依赖的包传递到集群的share lib中

3.Hive with tez

3.1 本地提交（集群支持tez模式）

在hive脚本中添加

set hive.execution.engine=tez; 

将hive的执行引擎设置成tez

3.2 oozie调度

（1）配置workflow （注意变红的）

    



    

        

            ${job_tracker}

            ${name_node}

            ${oozie_app_path}/workflow/job.xml

            

                

                    hive.execution.engine

                    tez

                

                

                    tez.lib.uris

                    ${name_node}/user/tez/tez-0.7.0_base_hadoop2.7.1.tar.gz

                

                

                    tez.use.cluster.hadoop-libs

                    true

                

                

                    mapreduce.job.queuename

                    ${queue_name}

                

            

            

             input1=${input1}

           input12=${input12}

            house_type=1

            lib/udf-1.0.0.jar

            conf/hive-site.xml

        

        

        

    



    

        Job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

    

    

（2）将程序运行中需要的jar包，拷贝到workflow下的lib目录下面（以下几个必须要的）

commons-collections4-4.0.jar  tez-common-0.7.0.jar     tez-runtime-library-0.7.0.jar

tez-api-0.7.0.jar             tez-mapreduce-0.7.0.jar

一个解决上传jar包的方法，是将所有tez依赖的包传递到集群的share lib中

 

此文章为博主原创，转载请标明出处和原始链接，谢谢。