oozie中调度sqoop

创建目录sqoop，以下所有目录和文件都放在sqoop目录下。

1.创建目录lib，拷贝msql的jar包到该目录

mysql-connector-java.jar

2.job.properties文件

内容如下：

nameNode=hdfs://ip-150:8020
jobTracker=ip-150:8032
queueName=default
oozieappsRoot=user/hue/oozie-apps
DataRoot=user/hue/oozie/datas

oozie.use.system.libpath=true

oozie.wf.application.path=${nameNode}/${oozieappsRoot}/sqoop/workflow.xml
outputDir=sqoop/output

3. workflow.xml

    
 
    
          
            ${jobTracker}
            ${nameNode}
            
                
                  mapred.job.queue.name
                  ${queueName}
                
                
                  hive.metastore.uris
                  thrift://ip-150:9083
                
            
            
              import
              --connect
              jdbc:mysql://10.39.21.95:3306/test
              --username
              xxx
              --password
              cccc
              --query
              SELECT * from user where 1=1 and $CONDITIONS 
              --fields-terminated-by
              \t
              -m
              2
              --hive-database
              huetest
              --hive-table
              autouser
              --hive-import
              --hive-overwrite
              --split-by
              id
              --target-dir
              /user/hive/warehouse/huetest.db/autouser
        
        
        
    
 
    
        Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
    
    

这里需要注意，sqoop的所有参数以arg的方式传入，否则会报错"unrecgnized argu……balabala"。如果哪个小伙伴实验command方式传入成功了，麻烦给我留言告诉我怎么配置的，先谢谢了。

 

3.上传文件到hdfs文件系统

4.执行

export OOZIE_URL=http://ip-150:11000/oozie/
oozie job --config sqoop/job.properties -run

然后打开oozie的web页面可以看到执行状态以及hadoop的日志：

http://ip-150:11000/oozie