如何迁移 CDH/HDP 到 CDP

摘要：本文整理自 Cloudera 生态资深解决方案工程师王雪峰，分享的《如何迁移 CDH/HDP 到 CDP 》，主要分为 CDP 升级概述、迁移升级指南两个部分。

视频：https://developer.aliyun.com/live/248385

Tips：点击「阅读原文」有惊喜！

一、CDP 升级概述

在旧 CDH/HDP 升级到新 CDP 的过程中，主要有两种原地升级、迁移升级两种方式：

	原地升级	迁移升级
概述	卸载旧的 CDH，保留原有数据，然后安装新版CDH并升级	安装新的 CDH集群，然后将现有数据拷贝至新集群，将新的CDH集群切换为生产集群
目标 客户	没有富余的主机资源用做中间集群 能够接受较长的服务停机时间	有富余的主机资源（新节点或者缩编现有节点）用做中间集群 要求极短的服务宕机时间
优点	不需要任何额外硬件资源	没有数据丢失风险 较短的服务停机时间
缺点	服务停机时间相对较长 需要多重验证	额外的硬件资源 需要迁移数据 整体升级周期较长

原地升级

版本要求

HDP2（2.6.5 以上版本）和 CDH5（5.13-5.16 版本）的用户可以直接采用原地升级，升级到 CDP7.03 以上版本。如果低于 HDP2.6.5 版本或 CDH5.13 版本，则需要先升级到对应版本再进行原地升级。而 CDH6 的用户都可以原地升级到 CDP7.1.7 以上版本；HDP3 的用户都可以原地升级到 7.1.6 以上版本。

用户特征

在原地升级的情况下，最适合的用户特征如下：

• 没有额外的资源

• 组织有多个集群，可以在配置较低的环境中验证整个升级测试

• 集群里边有大型的单租户集群，而不是有很多租户，租户之间对时间要求也不一样

升级过程

• 备份应用程序和配置

• 已删除的组件查看和替换应用程序 (docs)

• 从 DEV 开始，升级 CM

• 部署 parcel、激活并升级到 CDP Runtime

• 完成应用冒烟测试

• 安排停机时间

• 升级主服务器、工作服务器、边缘服务器和客户端服务器

• 运行工作负载并完成 App Dev Signoff

升级任务

迁移升级

用户特征

在迁移升级的情况下，最适合的用户特征如下：

• 有额外的基础设施，这一点对于阿里云用户来说得天独厚

• 干净的开始（新服务器配置，新网络，操作系统，平台）

• 无法承受长时间停机的租户

• 大型的多租户集群，难以协调切换

升级过程

• 资产清单

• 创建新的 CDP PvC Base 集群

• 逐步将数据和工作负载迁移到 CDP 集群

• 随着工作负载从旧集群移出，服务器可以退役，然后添加到新的 CDP 集群

• 重复使用或停用旧硬件

升级任务

CDH/HDP 到 CDP 升级路线图

其中较为推荐CDP7.1.7，版本更为稳定。CDP/HDP 的所有用户都可以通过原地升级或迁移升级到CDP7.1.7。如果需要使用更低的版本，可以在上图找到适合的最低版本。

技术风险和应对措施

二、迁移升级指南

迁移指导文档：

https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/migrating.html  

迁移升级工作分解

迁移升级实施流程

预备期

并行期

运行期

数据迁移方案说明

基础组件

安全+元数据

数据仓库 +操作型数据库 + 机器学习 + 数据工程

流处理

Hbase 迁移比较

全量&增量数据迁移

数据一致性校验方法

参考资料

[1] 阿里云 CDP 官网

https://ac.aliyun.com/application/cloudera

[2]阿里云 CDP 产品文档

https://www.yuque.com/aliyunbigdata/xdgumz

[3]Cloudera CDP 官网文档

https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/index.html

---

我们会在钉群推送精彩文章，邀请技术大牛直播分享。

欢迎钉钉扫码加入交流群一起参与讨论~

阿里云CDP 免费试用进行中！