CDH中oozie 定时调度sqoop job

在数据开发中，由于数据量非常的大，有时候需要将关系型数据库（Oracle/Postgresql/Mysql等）中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop job从oracle库中增量导入数据至hive表具体操作记录一下：

首先，准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和lib文件夹，比如我的是在/user/oozie/workflow/sqoop2hive下面创建的

Lib文件下，存放的是我们的连接关系型数据库的驱动：mysql-connector-java.jar,ojdbc6.jar

workflow.xml是配置的工作流，如下：

    
    
        
            ${jobTracker}
            ${nameNode}
            
                
                    sqoop.metastore.client.record.password
                    true
                

                
                    hive.metastore.local
                    true
                
                
                  hive.metastore.uris
                  thrift://cloud171:9083 
                
                
                  javax.jdo.option.ConnectionURL
                  jdbc:oracle://188.188.2.175:1521/orcl?createDatabaseIfNotExist=true
                
                
                  javax.jdo.option.ConnectionDriverName
                  com.mysql.jdbc.Driver
                
                
                  javax.jdo.option.ConnectionUserName
                  hive
                
                
                  javax.jdo.option.ConnectionPassword
                  hive
                
                
                  hive.metastore.warehouse.dir
                  /user/hive/warehouse
                
            

            job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --exec sqoop2hive_job
        
        
        
    
    
        Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
    
    

把hive-site.xml也放进来即可，这里不再细说

下面是把定时调度的coordinator.xml文件配置如下：这里是配置10分钟调用一次sqoop job

10)}" start="${start}" end="${end}" timezone="UTC" xmlns="uri:oozie:coordinator:0.2">
    
        
            ${workflowAppUri}
            
                
                    jobTracker
                    ${jobTracker}
                
                
                    nameNode
                    ${nameNode}
                
            
        
    

下面是job.properties,具体配置如下： 这个job.properties是放在本地的，不是hdfs上

nameNode=hdfs://cloud171:8020
jobTracker=cloud171:8032
oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20170401085707/sqoop  #根据你的环境对应修改
oozie.use.system.libpath=true
start=2017-10-10T07:30Z
end=2017-11-06T08:00Z
oozie.coord.application.path=${nameNode}/user/oozie/workflow/sqoop2hive  #放上面三个文件的路径
workflowAppUri=${nameNode}/user/oozie/workflow/sqoop2hive   #同上

注意1：其次需要启动sqoop metastore,否则会报错：ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Exception creating SQL connection

sqoop metastore

注意2：关于sqoop job执行的时候，需要输入数据库的密码，需要在sqoop-site.xml中设置sqoop.metastore.client.record.password为true，取消注释即可

下面再说一下sqoop job 的命令：

sqoop job \
--meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop \  #sqoop 工作流和job是配置在HSQL里的，默认端口是16000
--create sqoop2hive_job \
--（空格）import --connect jdbc:oracle:thin:@188.188.2.175:1521:orcl \
--username scott \
--password tiger  -m 1 \
--table EMP \
--hive-import --hive-table cust \
--incremental append --check-column EMPNO --last-value 0

上面的是一个数据库增量更新，创建sqoop job ：sqoop2hive_job
sqoop job的删除：

sqoop job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --delete job名称

下面呢就是调用oozie了：

oozie job -oozie http://cloud171:11000/oozie -config /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/job.properties（本地job.properties的路径） -run

接下来会产生一个编号，在oozie的web UI里面可以看到。这里是直接的操作流程，有些粗糙,下面再补充一下sqoop job的部分

=========================================================================

sqoop支持两种增量导入模式，
 一种是 append，即通过指定一个递增的列，比如：
--incremental append  --check-column num_iid --last-value 0

varchar类型的check字段也可以通过这种方式增量导入（ID为varchar类型的递增数字）：

--incremental append  --check-column ID --last-value 8
另种是可以根据时间戳，比如：
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'
就是只导入created 比'2012-02-01 11:0:00'更大的数据。