hive数仓数据跨集群迁移

当前集群是在局域网环境，按要求要迁到阿里云集群上（阿里云的服务器，自己搭建的大数据集群），所以要把hive中的数仓数据迁移到新的集群上。

前提

hive有export和import命令（该功能是从hive0.8开始才有的），可以将hive表中的表结构和数据导入和导出。

1、export命令

EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path'

2、import命令

IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, ...])]]  FROM 'source_path'  [LOCATION 'import_target_path']

所以，总共分三步：

1. 将源数仓中的数据使用export命令导出到源hdfs上；
2. 将源hdfs上的hive元数据传输到目标hdfs上；
3. 使用import命令将目标hdfs上的元数据导入到目标hive中；

导入和导出好说，直接使用命令就可以了，问题的关键就是第二步元数据的传输；

1、使用distcp

hadoop distcp  源hdfs路径  目标hdfs路径

hive数据最终是存储在hdfs上的，所以我们只需需要注意的是，distcp命令是需要在目标集群的机器上执行，然后去源集群上去拉取，这里就有个问题：我的源集群是在局域网环境，在阿里云的集群上是访问不到的，所以这个命令就无法使用，该方案pass。

2、传统scp命令传输

这里又可以分三步：

1. 将源hdfs的数据使用copyToLocal命令转储到本地服务器上；
2. 将本地服务器的数据打包并传输到目标集群的服务器上；
3. 将目标集群服务器上的元数据解压并使用copyFromLocal命令转储到目标集群上；

--------------------------------------------------------------------------------------------------------------------

综上，只需两个脚本即可搞定：

在源集群服务器上执行：export_hive_data.sh ；

#!/bin/bash
#如果非第一次执行执行，一定要先清空导出的目录，否则export出的数据不会覆盖之前的旧数据
hdfs dfs -rm -R /user/hive/tmp/*

hive -e "
export table ods.app_log to '/user/hive/tmp/ods.app_log';
export table ods.t_user to '/user/hive/tmp/ods.t_user';
export table dwd.app_event_log to '/user/hive/tmp/dwd.app_event_log';
export table dwd.app_page_log to '/user/hive/tmp/dwd.app_page_log';
export table dwd.app_start_log to '/user/hive/tmp/dwd.app_start_log';
export table dwd.app_video_log to '/user/hive/tmp/dwd.app_video_log';
export table dwd.user_his to '/user/hive/tmp/dwd.user_his';
export table dwd.user_his_tmp to '/user/hive/tmp/dwd.user_his_tmp';
export table dim.app_event_info to '/user/hive/tmp/dim.app_event_info';
export table dim.app_page_info to '/user/hive/tmp/dim.app_page_info';
export table dim.dim_date to '/user/hive/tmp/dim.dim_date';
export table dim.dim_time to '/user/hive/tmp/dim.dim_time';
"
hdfs dfs -copyToLocal /user/hive/tmp/ ./

tar -czvf hive-data.tar.gz ./tmp

scp hive-data.tar.gz hive@39.**.**.**:/home/hive/

在目标集群服务器上执行：import_hive_data.sh 

#!/bin/bash

tar -zxvf ./hive-data.tar.gz 
#hdfs dfs -rm -R /user/hive/tmp/*
# -f参数可以强制覆盖名字相同的文件
hdfs dfs -copyFromLocal -f ./tmp/* /user/hive/tmp/

hive -e "
drop table if exists ods.app_log;
drop table if exists ods.t_user;
drop table if exists dwd.app_event_log;
drop table if exists dwd.app_page_log;
drop table if exists dwd.app_start_log;
drop table if exists dwd.app_video_log;
drop table if exists dwd.user_his;
drop table if exists dwd.user_his_tmp;
drop table if exists dim.app_event_info;
drop table if exists dim.app_page_info;
drop table if exists dim.dim_date;
drop table if exists dim.dim_time;

import table ods.app_log from '/user/hive/tmp/ods.app_log';
import table ods.t_user from '/user/hive/tmp/ods.t_user';
import table dwd.app_event_log from '/user/hive/tmp/dwd.app_event_log';
import table dwd.app_page_log from '/user/hive/tmp/dwd.app_page_log';
import table dwd.app_start_log from '/user/hive/tmp/dwd.app_start_log';
import table dwd.app_video_log from '/user/hive/tmp/dwd.app_video_log';
import table dwd.user_his from '/user/hive/tmp/dwd.user_his';
import table dwd.user_his_tmp from '/user/hive/tmp/dwd.user_his_tmp';
import table dim.app_event_info from '/user/hive/tmp/dim.app_event_info';
import table dim.app_page_info from '/user/hive/tmp/dim.app_page_info';
import table dim.dim_date from '/user/hive/tmp/dim.dim_date';
import table dim.dim_time from '/user/hive/tmp/dim.dim_time';
"

到此，搞定！！

重点提示：

1、hive的export命令导出的数据不会覆盖旧数据，也就是说，比如第一次导出了9号、10号的数据，第二次导出了9号、10号、11号的数据，但是在执行完两个脚本后，会发现目标hive中还是只有9和10号的数据，这个地方快给我整崩溃了，后来发现hive的export命令导出的_meta数据一直是第一次的，不会覆盖旧数据，所以一定要清空导出的目录！！！

2、在源hdfs和目标hdfs上操作的用户一定要和在服务器本地操作的用户保持一致，而且都还需要有操作hive的权限！！