【大数据存储技术】「#3」将数据从Hive导入到MySQL

准备工作

安装Hive、MySQL和Sqoop

Hive预操作

启动MySQL、hadoop、hive

# 启动MySQL
service mysql start
# 启动hadoop
cd /usr/local/hadoop
./sbin/start-all.sh
# 启动hive
hive

创建临时表inner_user_log和inner_user_info

hive> create table dbtaobao.inner_user_log(user_id INT,item_id INT,cat_id INT,merchant_id INT,brand_id INT,month STRING,day STRING,action INT,age_range INT,gender INT,province STRING) COMMENT 'Welcome to XMU dblab! Now create inner table inner_user_log ' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

• 将user_log表中的数据插入到inner_user_log

hive> INSERT OVERWRITE TABLE dbtaobao.inner_user_log select * from dbtaobao.user_log;

• 查询上面的插入命令是否成功执行

# 不是很理解，不应该在hdfs上查看吗
hive> select * from inner_user_log limit 10;

# 在hdfs上查看
./bin/hadoop dfs -cat /user/hive/warehouse/dbtaobao.db/inner_user_log/*

使用Sqoop将数据从Hive导入MySQL

启动hadoop集群、MySQL服务

将前面生成的临时表数据从Hive导入到 MySQL 中

• 登录 MySQL
• 创建数据库

mysql> show databases; #显示所有数据库
mysql> create database dbtaobao; #创建dbtaobao数据库
mysql> use dbtaobao; #使用数据库

• 查看数据库编码，请确认当前编码为utf8

mysql> show variables like "char%";

• 创建表

# 下面在MySQL的数据库dbtaobao中创建一个新表user_log，并设置其编码为utf-8：
mysql> CREATE TABLE `dbtaobao`.`user_log` (`user_id` varchar(20),`item_id` varchar(20),`cat_id` varchar(20),`merchant_id` varchar(20),`brand_id` varchar(20), `month` varchar(6),`day` varchar(6),`action` varchar(6),`age_range` varchar(6),`gender` varchar(6),`province` varchar(10)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
# 提示：语句中的引号是反引号`，不是单引号’。
# 需要注意的是，sqoop抓数据的时候会把类型转为string类型，所以mysql设计字段的时候，设置为varchar

# 创建成功后，输入下面命令退出MySQL
mysql> exit;

• 导入数据(执行时间：20秒左右)

cd /usr/local/sqoop
bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaobao --username root --password root --table user_log --export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log' --fields-terminated-by ',';

• 字段解释：

./bin/sqoop export ##表示数据从 hive 复制到 mysql 中
--connect jdbc:mysql://localhost:3306/dbtaobao
--username root #mysql登陆用户名
--password root #登录密码
--table user_log #mysql 中的表，即将被导入的表名称
--export-dir '/user/hive/warehouse/dbtaobao.db/user_log ' #hive 中被导出的文件
--fields-terminated-by ',' #Hive 中被导出的文件字段的分隔符

查看MySQL中user_log或user_info表中的数据

• 再次启动MySQL，进入“mysql>”命令提示符状态

mysql -u root -p

• 执行下面命令查询user_action表中的数据：

mysql> use dbtaobao;
mysql> select * from user_log limit 10;

• 有可能会报错，大概率是mysql字符集问题，字符集使用utf8mb4！