sqoop 导入导出数据HDFS

sqoop 导入导出数据HDFS
1）导入数据库表数据到 HDFS 默认目录
2）导入数据库表到HDFS指定目录
导入导出数据到HIVE
1）将MySQL表中的数据 导入到hive中

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1

2. 导入关系表到hive 并且自动创建表

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;

增量导入：
增量导入是 仅仅导入新添加的表中的行的技术
需要添加： 'incremental' 'check-column' 'last-value' 执行增量导入

下面的语法用于Sqoop导入命令增量选项。

--incremental 
            --check-column              指定ID字段
            --last value   指定开始值
执行增量导入到HDFS

bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment

3、用离线的时候是用什么导的数据 如何导数据

sqoop 导入导出数据HDFS
1）导入数据库表数据到 HDFS 默认目录
2）导入数据库表到HDFS指定目录
导入导出数据到HIVE
1）将MySQL表中的数据 导入到hive中

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1

2. 导入关系表到hive 并且自动创建表

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;

增量导入：
增量导入是 仅仅导入新添加的表中的行的技术
需要添加： 'incremental' 'check-column' 'last-value' 执行增量导入
下面的语法用于Sqoop导入命令增量选项。

--incremental 
            --check-column              指定ID字段
            --last value   指定开始值
执行增量导入到HDFS
bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment