Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
这里我们假定一个场景,你需要迁移CDH5.12到CDH6.2,CDH5.12和CDH6.2分别是两个不同的集群,我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2,本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry,而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1,而CDH6.2中Hive已经是2.1.1,Hive的大版本更新导致保存在MySQL的schema结构都完全发生了变化,所以我们在将CDH5.12的MySQL数据导入到CDH6.2的MySQL后,需要更新Hive元数据的schema。首先Fayson会搭建2个集群包括CDH5.12和CDH6.2,为了真实,我们在接下来的模拟过程中,创建的Hive表包含分区,视图和UDF,好方便验证是否迁移到CDH6.2都能正常运行。具体如何迁移Fayson会在接下来的文章进行详细描述。
测试环境
1.Redhat7.2
2.MySQL的管理员账号
3.CM/CDH6.2.0
1.准备两个集群,一个是CDH5.12.0,一个是CDH6.2.0。
2.在两个集群准备同样的测试数据
3.在CDH5.12.0集群中创建好测试使用的Hive表
创建两个数据库
load数据到两个表
创建两个测试使用的view
表web_returns的第一行数据形成的view
分区表的分组统计信息形成的view
添加一个UDF用作测试
4.导出CDH5.12.0集群的Hive的元数据
1.将上一步中的元数据导入到CDH6.2.0的MySQL中
2.在CDH6.2.0集群中执行Hive元数据升级
查看 CDH5.12.0对应的Hive版本升级到CDH6.2.0对应的Hive版本所需的步骤
按顺序执行上述的五个SQL
Hive元数据升级完成
3.执行Hive元数据更新
4.更新后Hive服务报错,在TBLS表中找不到OWNER_TYPE字段
进入MySQL的Hive元数据库中,执行下面语句后重启Hive服务,服务正常运行
alter table TBLS add column OWNER_TYPE varchar(10) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL after OWNER;
update TBLS set OWNER_TYPE = 'USER';
5.模拟Hive表在HDFS上的数据的迁移
创建两个数据库的目录
创建测试表的目录
6.在C5和C6中进行同样的查询,查看结果是否一致
查看表web_returns和web_sales表:
select count(*) from web_returns;
CDH5.12.0
select count(*) from web_sales;
CDH5.12.0
CDH6.2.0
select * from web_sales limit 1;
select * from web_returns limit 1;
CDH5.12.0
CDH6.2.0
select count(*) from test_partition where year = 2019;
CDH5.12.0
CDH6.2.0
查看view
select * from group_by_year_vw;
CDH5.12.0
select * from records;
CDH5.12.0
CDH6.2.0
查看UDF
select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from test_udf;
CDH5.12.0
CDH6.2.0
文档参考:
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html
1.用命令schematool -dbType mysql -upgradeSchemaFrom -dryRun -passWord
2.在升级和更新完Hive元数据后,Hive服务出现了错误,在文档中贴出的日志中可以看到是TBLS表中缺少了一个字段,这可能是由于升级过程中该表的结构未成功升级导致的,在TBLS表中添加上缺少的OWN_TYPE即可。
3.在将Hive元数据成功迁移到CDH6.2以后,我们知道Hive元数据中保存的表的比如location信息其实对应的还是CDH5.12中的HDFS路径,这样会导致你虽然迁移成功了Hive元数据,但是在CDH6.2中依旧无法访问Hive表中的HDFS数据,所以需要按照本文前面描述的步骤通过Cloudera Manager升级Hive元数据,这个步骤跟我们在同一个CDH集群启用HDFS HA或者禁用HA,更新Hive元数据道理一样。
4.本文档中只迁移了Hive的元数据,模拟迁移HDFS数据到同样的目录,这样的迁移方式,迁移之后表的数据以及数据目录都与之前一样,在验证后也可以看到,表的数据也没有发生缺失。