Hive全库数据迁移
Hive全库数据迁移
这里使用的export/import这两个指令
主要的流程
- 将旧集群的hive数据导出至其hdfs中
- 将旧集群hdfs中的导出数据下载到本地中
- 将本地的导出数据上传至新的集群hdfs中
- 将新集群hdfs中的数据导入至新集群中的hive中
1.将旧集群的hive数据导出至其hdfs中
1.1设置hive启动默认数据库
在hive的配置目录中新建.hiverc文件,配置默认的数据库(即你需要导出的数据库)
vim /etc/alternatives/hive-conf/.hiverc
use export_db;
1.2在hdfs上创建导出目录
hdfs dfs -mkdir -p /tmp/export_db_export
1.3导出旧集群的hive数据
- 生成导出脚本
hive -e "show tables;" | awk '{printf "export table %s to |/tmp/export_db_export/%s|;\n",$1,$1}' | sed "s/|/'/g" | grep -v tab_name > /home/export.hql
- 导出数据
hive -f /home/export.hql
2.将导出的数据下载到本地
- 下载数据
hdfs dfs -get /tmp/export_db_export /home/export_db
进去文件夹下相应的表文件夹下,可以看到数据文件夹和元数据文件
drwxr-xr-x. 2 root root 39 Jan 14 21:28 data
-rw-r--r--. 1 root root 1672 Jan 14 21:28 _metadata
3.将本地的导出数据上传至新的集群hdfs中
- 上传数据
hdfs dfs -put /home/export_db /tmp/export_db_export
这里的/tmp/export_db_export需要提前创建
4.将新集群hdfs中的数据导入至新集群中的hive中
4.1 生成导入脚本
我们将之前的export.hql脚本修改下就可以当做我们的import.hql脚本
cp /home/export.sql /home/import.sql
sed -i 's/export /import /g' /home/import.sql
sed -i 's/ to / from /g' /home/import.sql
4.2导入数据
- 这里也需要设置hive的默认数据库
vim /etc/alternatives/hive-conf/.hiverc
use import_db;
- 导入数据
hive -f /home/import.sql
至此Hive数据的迁移就完成.
大家可能在直接使用hive登陆时,无法进入hive数据库,会报一个 character not support的错误;可能是由于使用hive登陆存在漏洞,hive连接被禁用了;这时候需要使用beeline连接hive并进行数据迁移,下面给大家介绍下如何使用beeline来进行数据迁移
修改默认数据库(这里配置文件貌似对beeline不起作用,需要在后面指定)- 创建hdfs目录(同上)
- 使用beeline进行导出脚本的生成
beeline -u jdbc:hive2://test01:10000 -e "use export_db;show tables;"| awk '{printf "export table %s to |/tmp/export_db_export/%s|;\n",$2,$2}' | sed "s/|/'/g"|sed '1,3d'|sed '$d' > /home/export.hql
- 执行导出脚本
在执行脚本前,在脚本第一行指定数据库(目前的笨办法)
sed -i '1i use export_db;' /home/export.hql
beeline -u jdbc:hive2://test01:10000 -n hdfs -f /home/export.hql
这里我在使用的时出现了文件权限的错误,这里建议直接使用hdfs用户进行操作
- 这里使用distcp来进行hdfs文件在新集群的上传
hadoop distcp hdfs://host01:8020/tmp/export_db_export/ hdfs://host02:8020/tmp/export_db_export
新的集群hdfs目录需要提前创建
- 修改import.hql(同上)
cp /home/export.hql /home/import.hql
sed -i 's/export /import /g' /home/import.hql
sed -i 's/ to / from /g' /home/import.hql
sed -i '1d' /home/import.hql
sed -i '1i use import_db;' /home/import.hql
- 导入数据
create database import_db;
beeline -u jdbc:hive2://test01:10000 -n hdfs -f /home/import.hql
至此数据迁移完成.请自行验证
select * from table_name limit 10;