Sqoop将hive处理的数据导出到MySQL

目录

部署前提

一、创建数据上传到hive中

创建学生表数据:vim stu.txt

创建课程表数据:vim course.txt

在hive中创建学生表和课程表：

上传数据到hdfs上的hive中：

二、处理hive中的数据

查询学生姓名和课程信息,创建结果表stu_result：

插入数据：

三、在mysql中创建结果表

四、将hive中处理好的结果同步到mysql

处理mysql乱码(1)

处理mysql乱码(2)

---

部署前提：

启动Hadoop集群，MySQL

一、创建数据上传到hive中

• 创建学生表数据:vim stu.txt

name,id,age（姓名，学号，年龄）：

张三,2001,18

李四,2002,22

王五,2003,20

老六,2004,22

• 创建课程表数据:vim course.txt

id，kcmc,xf（学号，课程名称，学分）：

2001,大数据,2

2002,ETL,3

2003,python,1

2004,C语言,2

• 在hive中创建学生表和课程表：

create table hive_db03.stu
(
name string,
id string,
age string
)
row format delimited fields terminated by ',' stored as textfile;

create table hive_db03.course
(
id string,
kcmc string,
xf string
)
row format delimited fields terminated by ',' stored as textfile;

查看创建的两个表：

show tables;

• 上传数据到hdfs上的hive中：

hdfs dfs -put stu.txt /user/hive/warehouse/hive_db03.db/stu

hdfs dfs -put course.txt /user/hive/warehouse/hive_db03.db/course

二、处理hive中的数据

• 查询学生姓名和课程信息,创建结果表stu_result：

create table hive_db03.stu_result
(
name string,
kcmc string,
xf string
)
row format delimited fields terminated by ',' stored as textfile;

• 插入数据：

insert into hive_db03.stu_result select m.name,n.kcmc,n.xf from hive_db03.stu m join hive_db03.course n on m.id=n.id;

三、在mysql中创建结果表：

• 登录：

create table db3.stu_result
(
name varchar(50),
kcmc varchar(50),
xf varchar(20)
);

（注：hive中的string对应MySQL中的varchar）

四、将hive中处理好的结果同步到mysql

sqoop export -connect jdbc:mysql://192.168.43.21:3306/db3 -username sqoop03 -password 123456 -table stu_result -export-dir /user/hive/warehouse/hive_db03.db/stu_result -input-fields-terminated-by ','

• 处理mysql乱码(1)

• 修改mysql配置文件/etc/my.cnf,增加如下信息

[mysqld]

character-set-server=utf8

[client]

default-character-set=utf8

[mysql]

default-character-set=utf8

• 重启mysql：

• 重新创建数据库（注意：一定要重新创建数据库，以前创建的数据库编码并未改变）

• 调用数据库：

• 创建表：

• 查看新建的数据库与表编码，已经变成utf8：

• 重新同步数据：

sqoop export -connect jdbc:mysql://192.168.43.21:3306/db3 -username sqoop03 -password 123456 -table stu_result -export-dir /user/hive/warehouse/hive_db03.db/stu_result -input-fields-terminated-by ','

• 查询：

• 处理mysql乱码(2)

将原数据库编码格式改变(与上面方法不同的是需要每个数据库修改编码)

1. 删除原表：drop table xxx;
2. 改变数据库编码：alter database db03 character set "utf8"；
3. 重新创表:create table xxx;

以上就是简单的sqoop导出过程！