sqoop简单使用

sqoop安装：安装在一台节点上就可以了。


1.上传sqoop

2.安装和配置
2.1 添加sqoop到环境变量
2.2 将数据库连接驱动拷贝到$SQOOP_HOME/lib里
2.3 如果启动时报找不到apache......sqoop.Sqoop类,检查$SQOOP_HOME/lib下是否有sqoop-x.x.x.jar，
若没有，将根目录下的sqoop-x.x.x.jar拷贝的lib目录下。


3.sqoop使用
3.1:导入整张表的:--table tableName
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName

3.2:导入表中的指定字段:--table tableName --columns 'cols1, cols2, cols3, cols4'
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName --columns 'cols1, cols2, cols3, cols4'

3.3:指定数据在HDFS上的存储路径：--target-dir '/sqoop/td1'
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName --target-dir '/sqoop/td1'

3.4:指定数据分割符号：--fields-terminated-by '\t'
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName --fields-terminated-by '\t'

3.5：指定执行的map数量为2个：-m 2
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName -m 2

3.6：where条件数据导入（注意：条件必须放在单引号内）：--where 'condition> 500'
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName  --where 'condition> 500'

3.7：sql查询数据导入HDFS:--query 'SQL'

sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password admin --table tableName  --query 'SQL'

例：

增加query语句(使用 \ 将语句换行)
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 \
--query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'

注意：如果使用--query这个命令的时候，需要注意的是where后面的参数，AND $CONDITIONS这个参数必须加上
而且存在单引号与双引号的区别，如果--query后面使用的是双引号，那么需要在$CONDITIONS前加上\即\$CONDITIONS
如果设置map数量为1个时即-m 1，不用加上--split-by ${tablename.column}，否则需要加