Sqoop是个命令行工具，用来在Hadoop和rdbms之间传输数据。
以Hadoop的角度看待数据流向,从rdbms往Hadoop是导入用sqoop import命令,反之从hadoop往rdbms下发数据用sqoop export命令
以oracle hive为例子，命令举例：
sqoop import -D oraoop.jdbc.url.verbatim=true --hive-import --hive-overwrite --connect jdbc:oracle:thin:@192.168.1.10:1521:orcl --username usernamexx --password passwdxx --table WH_PRG.TB_JSQ_PRD_GRID_MDF -hive-database test --hive-table hivename --fetch-size 5000 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' -m 1
sqoop export -D oraoop.jdbc.url.verbatim=true --connect "jdbc:oracle:thin:@192.168.1.10:1521:orcl" --username usernamexx --password passwdxx --table ORACLETABLE --export-dir /user/hive/warehouse/test.db/tablename/* --input-fields-terminated-by '\001' --input-lines-terminated-by '\n' --input-null-string '\\N' --input-null-non-string '\\N' -m 1
注意：
oracle表名大写,hive表名保持和创建表时候的大小写，建表是大写，这儿就大写，建表时候小写，这儿就小写
-m 1表示并行度，根据oracle库的性能自行决定
导入的时候是默认覆盖，如果hive中有同名表，会自动删除重建
导出的时候是追加，要先在oracle测建好空表，而且再次导入时候要把原来的内容清空，否则因为是追加数据会产生重复数据，字段顺序要对齐，否则可能产生列的错位
附1：Sqoop导入常规参数意思
参数 参数名称
others 插件命令附加参数
target-dir 导入HDFS的目标路径
delete-target-dir 如果指定目录存在，则先删除掉
fetch-size 从数据库中批量读取记录数
split-by 按照指定列去分割数据
columns 从表中导出指定的一组列的数据
null-string 字符串类型null时转义为
null-non-string 非字符串类型null时转义为
query 查询语句
where 查询条件
direct 使用直接导出模式（优化速度）
warehouse-dir HDFS存放表的根路径
append 将数据追加到HDFS上一个已存在的数据集上
as-avrodatafile 将数据导入到Avro
as-sequencefile 将数据导入到SequenceFile
as-textfile 将数据导入到普通文本文件（默认）
boundary-query 边界查询，用于创建分片（InputSplit）
direct-split-size 分割输入stream的字节大小（在直接导入模式下）
inline-lob-limit 设置内联的LOB对象的大小
compress 启用压缩
compression-codec 指定Hadoop的codec方式（默认gzip）
incremental mode模式
last-value 指定自从上次导入后列的最大值
connect 指定JDBC连接字符串
connection-manager 指定要使用的连接管理器类
driver 指定要使用的JDBC驱动类
username 设置认证用户名
password 设置认证密码
verbose 打印详细的运行信息
connection-param-file 可选，指定存储数据库连接参数的属性文件
hadoop-home hadoop-home的路径
enclosed-by 字段值前后加上指定的字符
escaped-by 双引号作转义处理
fields-terminated-by 字段分隔符
lines-terminated-by 行分隔符
optionally-enclosed-by 强制给字段值前后都加上指定符号
mysql-delimiters Mysql默认的分隔符
input-enclosed-by 对字段值前后指定的字符进行解析
input-escaped-by 对含有转义双引号的字段值作转义处理
input-escaped-by 导入使用的字段分隔符
input-lines-terminated-by 导入使用的行分隔符
input-optionally-enclosed-by 导入时强制给字段值前后都加上指定符号
bindir 生成的java文件、class文件及打包为JAR的JAR包文件输出路径
class-name 生成的Java文件指定的名称
jar-file 合并时引入的jar包
outdir 生成的java文件存放路径
package-name 包名
map-column-java 映射的数据类型
table 关系数据库表名
num-mappers 启动map的数量，默认是4个
附2：Sqoop的import工具抽数的几种情况
1. Hive表无分区，全量从Oracle中抽取数据到Hive的表中
sqoop import -D mapred.job.queue.name=root.myqueue \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \
–username jsz \
–password 123456 \
–table mys.test \
–columns ID,NAME,AGE,SALARY,DATA_DATE \
-m 1 \
–hive-table default.test \
–create-hive-table \
–hive-drop-import-delims \
–verbose \
–fetch-size 5000 \
–target-dir /apps/testdata/default/test \
–delete-target-dir \
–hive-overwrite \
–null-string ‘\\N’ \
–null-non-string ‘\\N’ \
–hive-import;
2. Hive表有分区，增量从Oracle中抽取数据到Hive表中：
sqoop import -D mapred.job.queue.name=root.myqueue \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \
–username jsz \
–password 123456 \
–table mys.test \
–columns ID,NAME,AGE,SALARY,LCD \
-m 1 \
–hive-partition-key op_day \
–hive-partition-value 20160525 \
–where “lcd >= trunc(TO_DATE(‘20160525′,’YYYY-MM-DD’),’dd’) and lcd < trunc(TO_DATE(‘20160526′,’YYYY-MM-DD’),’dd’)” \
–hive-table default.test_partition \
–create-hive-table \
–hive-drop-import-delims \
–verbose \
–fetch-size 5000 \
–target-dir /apps/testdata/default/test_partition \
–delete-target-dir \
–hive-overwrite \
–null-string ‘\\N’ \
–null-non-string ‘\\N’ \
–hive-import;
3.使用select语句：
sqoop import \
-D mapred.job.queue.name=root.myqueue \
-D oracle.sessionTimeZone=America/Los_Angeles \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \
–username jsz \
–password 123456 \
–query “select ID,NAME,AGE,SALARY,DATA_DATE from mys.test WHERE ID = ‘10086’ and \$CONDITIONS” \
–verbose \
–fetch-size 5000 \
–hive-table default.test \
–target-dir /apps/testdata/default/test \
–delete-target-dir \
–fields-terminated-by ‘\001’ \
–lines-terminated-by ‘\n’ \
-m 1 \
–hive-import \
–hive-overwrite \
–null-string ‘\\N’ \
–null-non-string ‘\\N’ \
–hive-drop-import-delims
Sqoop的export工具导数的情况:
将Hive的数据导入Oracle，整个过程分为三步：
1) 删除Oracle表的历史数据
sqoop eval -D mapred.job.queue.name=root.myqueue \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \
–username jsz \
–password 123456 \
–verbose \
–e “delete from mys.test”
2) Hive导出到HDFS指定路径
hive -e “use default;set mapred.job.queue.name=root.myqueue;set hive.insert.into.multilevel.dirs=true;insert overwrite directory ‘/apps/testdata/default/test’ select id,name,age,salary,data_date from default.test;”
3) 将HDFS的数据导入到Oracle中
sqoop export \
-D mapred.job.queue.name=root.myqueue \
-D mapred.task.timeout=0 \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \
–username jsz \
–password 123456 \
–table mys.test \
–columns ID,NAME,AGE,SALARY,DATA_DATE \
–export-dir /apps/testdata/default/test \
–verbose \
–input-null-string ‘\\N’ \
–input-null-non-string ‘\\N’ \
–input-fields-terminated-by ‘\001’ \
–input-lines-terminated-by ‘\n’ \
-m 1