oozie使用的注意事项

1.在pig中使用UDF函数时候的注意事项:

(1).pig的udf函数jar包可以放在本地也可以放在hdfs中(推荐放在hdfs中

a.放在本地:myUDF=./pig/myUDFs.jar

其中,"myUDF"为变量名,"./pig/myUDFs.jar"为当前UDF函数的本地路径

b.放在hdfs:myUDF=${nameNode}/user/${wf:user()}/${AssociatedGoodsRoot}/myUDFs.jar

以上的hdfs路径翻译后为:hdfs://192.168.8.21/user/chenpeng/goods/myUDFs.jar

(2).pig的运行不是通过oozie自带的pig运行的,而不是本机安装的pig。所以pig运行时需要用到oozie中的pig相关的jar包,(在sharelib目录下),所以要在job.properties文件里面要加入:oozie.libpath=${nameNode}/user/${user.name}/share/lib


2.应用shell action-node时的注意事项:

(1).脚本要和workflow.xml、job.properties文件放在平级目录

(2).执行shell action时,会以当前脚本所在的datanode主机的身份去执行脚本,如果执行脚本里面有ssh无密码登陆到jobtracker,则需要把datanode的.ssh密钥放在jobtracker里面。


3.应用sqoop action-node时的注意事项:

(1).从hdfs导入数据到mysql数据库的配置参考如下:

            export
            --connect
            jdbc:mysql://192.168.8.22:3306/test?characterEncoding=UTF-8
            --username
            root
            --password
            
            --table
            goods
            --export-dir
            /user/${wf:user()}/${AssociatedGoodsRoot}/output-data/pig-node2/part-r-00000
            --fields-terminated-by
            \t
            -m
            1
(2). 使用sqoop时,要把mysql驱动包放在当前应用的lib目录下




你可能感兴趣的:(oozie)