《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)

原文:《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)-阿里云开发者社区

简介: 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1) 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1)-阿里云开发者社区

2. 迁移升级

迁移升级方法是 CDP 的第二条路径。在第二套硬件上配置了一个新的未开发的 CDP私有云基础版集群。对于阿里云上的用户,可以直接采用该方案进行迁移到基于阿里云部署的 CDP 平台上。该过程旨在最大程度地减少单个工作负载的停机时间,同时在每个工作负载的基础上提供一种直接的回滚机制。迁移升级分为三个主要阶段。

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)_第1张图片

1) 用户特征

在迁移升级的情况下,最适合的用户特征如下:

• 有额外的基础设施,这一点对于阿里云用户来说得天独厚

• 干净的开始(新服务器配置,新网络,操作系统,平台)

• 无法承受长时间停机的租户

• 大型的多租户集群,难以协调切换

2) 升级过程

• 资产清单

• 创建新的 CDP PvC Base 集群

• 逐步将数据和工作负载迁移到 CDP 集群

• 随着工作负载从旧集群移出,服务器可以退役,然后添加到新的 CDP 集群

• 重复使用或停用旧硬件

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)_第2张图片

3) 升级任务

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)_第3张图片

集群中的主要内容可以分成这样四部分:用户积累的历史数据,数据对应的 Schema等数据状态相关的元数据,数据处理的批量和流处理程序,数据上层的外部应用。其中历史数据和 Schema 需要进行迁移并升级到新版本;但批量脚本和外部程序因为涉及到组件版本和 API 的调整,会涉及到代码改造的工作。

3. CDH/HDP 到 CDP 升级路线图

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)_第4张图片

其中较为推荐 CDP7.1.7,版本更为稳定。CDP/HDP 的所有用户都可以通过原地升级或迁移升级到 CDP7.1.7。如果需要使用更低的版本,可以在上图找到适合的最低版本。

4. 技术风险和应对措施

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)_第5张图片

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3) 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3)-阿里云开发者社区

你可能感兴趣的:(大数据,大数据,运维)