sqoop导入mysql数据到hive

前提:安装配置好sqoop、hive

hive配置参考:Hive安装使用 - 菜鸟学院

1、切换到sqoop目录下

输入命令

bin/sqoop import \
--connect jdbc:mysql://192.168.**.**:3306/**** \
--username root \
--password root \
--table tb_hotel \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table tb_hotel_hive

2、出现以下表示导入成功

sqoop导入mysql数据到hive_第1张图片

可以在hadoop上看存储情况

sqoop导入mysql数据到hive_第2张图片

 

3、hive中查看导入的表数据

切换到hive目录下输入:./bin/hive

再输入查询表的语句

 

碰到的问题

存在的问题1:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决方式:参考错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster_sjunothing的博客-CSDN博客

[root@localhost hadoop]# hadoop classpath

 修改yarn-site.xml(我的在/opt/hadoop/etc/hadoop/目录下)

存在的问题2:Hive exited with status 64

sqoop导入mysql数据到hive_第3张图片

sqoop导入mysql数据到hive_第4张图片

关键:hive必须要配置好,参考Hive安装使用 - 菜鸟学院

存在的问题3:Output directory hdfs://localhost:9000/user/root/tb_hotel already exists

切换到/目录,输入命令:hadoop fs -rm -r /user/root

你可能感兴趣的:(大数据,hive,mysql,sqoop)