sqoop导入数据到hdfs

Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具

导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统

导出数据：从Hadoop的文件系统中导出数据到关系数据库

2. Sqoop的工作机制

• 将导入和导出的命令翻译成mapreduce程序实现

• 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

Sqoop ETL工具

1. 安装VMware15虚拟化软件
2. 安装CentOS 7虚拟机3个
3. 安装3节点的hadoop-2.6.0-cdh5.14.2集群
4. 安装了hive
5. 安装了zookeeper集群
6. 安装了hbase集群

sqoop import 连接mysql --connect jdbc：mysql://node03:3306/userdb --username root --password 123456 --table emp --m 1

导入数据到hdfs：

sqoop import --connect jdbc:mysql://node03:3306/userdb --username
root --password 123456 --table emp --m 1

在网页上的user里找到emp文件
扩充：
–delete-target-dir 如果输出的目录存在，则删除。
–target-dir 指定表数据导入到hdfs的据体路径

sqoop import --connect jdbc:mysql://node03:3306/userdb --username root
–password 123456 --delete-target-dir --table emp --target-dir /sqoop/emp --m 1

导入到hdfs指定目录并指定字段之间的分隔符：

sqoop import --connect jdbc:mysql://node03:3306/userdb --username root
–password 123456 --delete-target-dir --table emp --target-dir /sqoop/emp2 --m 1 --fields-terminated-by ‘\t’