sqoop的相关命令

1）： mysql的远程连接命令开启：
GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
2）：查看数据库的所有仓库列表：
bin/sqoop list-databases --connect jdbc:mysql://192.168.XXX.XXX:3306 --username root --password XXXXXX
3）：把数据库中的表导入到hdfs上，使用n个maptask(-m n) 默认的hdfs上的位置是当前用户下的表名文件夹下
bin/sqoop import --connect jdbc:mysql://192.168.176.83:3306/studey50 --username root --password 123456 --table student -m 1
4):导入到指定的额目录下：默认字段之间的分隔符号是“，”
bin/sqoop import --connect jdbc:mysql://192.168.176.83:3306/study50 --username root --password 123456 --table student -m 1 --delete-target-dir --target-dir /sqoop/student5）:导入到指定的额目录下： 指定分隔符是\t
bin/sqoop import --connect jdbc:mysql://192.168.176.83:3306/study50 --username root --password 123456 --table student -m 1 --delete-target-dir --target-dir /sqoop/student --fields-terminated-by ‘\t’
6）如果命令最后加上了–direct 是一个优化方案 就是导入速度快点
7）：导入到hive中 hive可以有存在的表 也可以不存在表 一下命令是不存在的表
bin/sqoop import --connect jdbc:mysql://192.168.176.83:3306/study50 --username root --password 123456 --table teacher -m 1 --fields-terminated-by ‘\001’ --hive-import --hive-database myhive --delete-target-dir
8）：使用where导入子集
bin/sqoop import
–connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp_add --target-dir /sqoop/emp_add -m 1 --delete-target-dir --where “city = ‘sec-bad’”
9）：我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入：
bin/sqoop import --connect jdbc:mysql://192.168.176.83:3306/study50 --username root --password 123456 --query ‘SELECT * FROM course WHERE t_id>=2 and $CONDITIONS’ -m 1 --fields-terminated-by ‘\001’ --delete-target-dir --target-dir /sqoop/sql


10):面对增量数据操作和减量操作
bin/sqoop import --connect jdbc:mysql://192.168.22.22:3306/userdb --username root --password admin --table emp --incremental append --where “create_time > ‘2018-06-17 00:00:00’ and is_delete=‘1’ and create_time < ‘2018-06-17 23:59:59’” --target-dir /sqoop/incement2 --check-column id --m 1

11) 导出数据
bin/sqoop export
–connect jdbc:mysql://172.16.43.67:3306/userdb
–username root --password admin
–table emp_out
–export-dir /sqoop/emp \ hdfs上数据的地址
–input-fields-terminated-by “,”