sqoop数据导入

创建数据库 

mysql全表数据导入hdfs

mysql查询数据导入hdfs

mysql指定列导入hdfs

使用查询条件关键字将mysql数据导入hdfs

mysql数据导入hive 

---

创建数据库 

        hive中创建user表

create table users(
id bigint,
name string
)
row format delimited fields terminated by "\t";

        mysql中创建user表并添加信息

CREATE TABLE `user`  (
  `id` int(20),
  `name` varchar(20)
);

 mysql全表数据导入hdfs

        全部导入 

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--table user \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

        参数解读：

bin/sqoop import \  导入命令
--connect jdbc:mysql://master:3306/spark-sql \ 选择数据源的mysql数据库路径
--username root \ mysql用户名
--password p@ssw0rd \  mysql用户密码
--table user \ 数据源表名
--target-dir /user/company \ 导入到的hdfs路径
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" 

        hdfs中查看导入的结果 

mysql查询数据导入hdfs

        注意：使用查询导入时必须要在查询语句后面加上 $CONDITIONS

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select * from user where id = 2 and $CONDITIONS;'

        hdfs中查看导入的结果 

mysql指定列导入hdfs

        使用 --columns 来指定导入的列

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns name \
--table user

         hdfs中查看导入的结果 

 使用查询条件关键字将mysql数据导入hdfs

        使用 --where来指定查询的条件

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table user \
--where "id=1"

        hdfs中查看导入的结果 

 mysql数据导入hive 

        其实将mysql导入hive中 在中间还是在hdsf中中转存储了一下 然后在从hdfs导入到hive中 

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--table user \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table default.users

        参数解读：

--hive-import \ 导入hive的命令
--hive-overwrite \ 写入方式
--hive-table default.users hive表 指定数据库中的表：数据库.表

         在hive中查看导入结果

        导入hive并添加分区字段 

sqoop import \
    --connect jdbc:mysql://mysql_host/mydatabase \
    --username mysql_username \
    --password mysql_password \
    --table my_table \
    --hive-import \
    --create-hive-table \
    --hive-table my_db.my_table \
    --hive-partition-key part_col \
    --hive-partition-value '2023-04-13' \
    --target-dir /user/hive/warehouse/my_db.db/my_table/part_col=2023-04-13;

--create-hive-table：生成与关系数据库表结构对应的 hive 表结构

--hive-partition-key：生成分区字段名称

--hive-partition-value：设置分区字段值