0709-5.16.2-如何将CM的外部PostgreSQL数据库迁移至MySQL服务

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。

注意：不支持直接从Cloudera Manager嵌入式PostgreSQL迁移到MySQL / Oracle数据库。您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。

只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。

• 内容概述

1 安装Mariadb服务

2 数据库迁移

3 验证

4 总结

• 测试环境

1 CM和CDH版本均为5.16.2

2 采用root用户

2 迁移前集群环境确认

CM元数据库类型为postgresql

cat /etc/cloudera-scm-server/db.properties

Hue用户及用户组

Hue的数据库类型为PostgreSQL

用户信息

用户组信息

管理员信息

Hive数据库及表信息

Hive的数据库类型为PostgreSQL

如下所示，当前hive中有default和test两个数据库；default数据库中有两个表。

查看table_partitioned表的数据

Sentry授权信息

Sentry的数据库类型为PostgreSQL

Sentry的授权信息如下

3 安装MySQL

选一台节点安装MariaDB服务

yum -y install mariadb mariadb-server

启动mariadb服务并设置为开机自启动

systemctl start mariadb
systemctl enable mariadb
systemctl status mariadb | grep Active

初始化MariaDB数据库

/usr/bin/mysql_secure_installation

使用root用户登录查看当前数据库

安装MySQL JDBC驱动

将mysql驱动上传至/usr/share/java目录，并以软链接的方式去掉驱动版本号

4 迁移CM元数据库

导出Cloudera Manager配置文件

获取当前支持的API版本

curl -u admin:admin "http://192.168.0.204:7180/api/version"

导出json格式配置文件

curl -u admin:admin "http://192.168.0.204:7180/api/v19/cm/deployment" > /root/cm/cm-deployment.json

执行如下命令，保留Cloudera Manager的GUID号

sudo -u postgres psql -qtAX scm -c "select GUID from CM_VERSION" > /etc/cloudera-scm-server/uuid

停止集群和Cloudera Management Service服务

在CM节点上执行如下命令停止cloudera-scm-server服务

systemctl stop cloudera-scm-server
systemctl status cloudera-scm-server | grep Active

登录MySQL执行如下SQL语句创建scm数据库及用户并授权

create database scm default character set utf8;
CREATE USER 'scm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';
FLUSH PRIVILEGES;

执行如下命令，初始化Cloudera Manager数据库配置

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm password

清空所有节点的/var/run/cloudera-scm-agent/process/目录

使用批量命令，停止集群所有节点的agent和supervisor服务

sh ssh_do_all.sh node.list 'service cloudera-scm-agent next_stop_hard'
sh ssh_do_all.sh node.list 'systemctl stop cloudera-scm-agent'

查看进程是否已被停止

ps -ef | grep cmf-agent
ps -ef | grep supervisord

使用批量命令，使用mv命令将集群所有节点的agent目录备份

sh ssh_do_all.sh node.list 'mv /var/run/cloudera-scm-agent /var/run/cloudera-scm-agent-BU'

sh ssh_do_all.sh node.list 'ls /var/run | grep cloudera-scm-agent*'

使用批量命令，启动集群所有节点的cloudera-scm-agent服务

sh ssh_do_all.sh node.list 'systemctl start cloudera-scm-agent'
sh ssh_do_all.sh node.list 'systemctl status cloudera-scm-agent | grep Active'

启动Cloudera Manager Server

systemctl start cloudera-scm-server
netstat -lnpt | grep 7180

使用超级管理员用户登录CM

接收许可条款，【继续】

如果有许可证，上传许可证，没有许可证选择企业试用版，【继续】，然后单击左上角返回CM主页

注意：必须要上传许可证或者选择试用版继续之后再返回主页，否则会导致使用curl导入集群配置时失败。

当前CM主页状态如下：

执行如下命令调用CM API接口，恢复Cloudera Manager配置

curl -v -H "Content-Type: application/json" --upload-file /root/cm/cm-deployment.json -u admin:admin "http://192.168.0.204:7180/api/v19/cm/deployment?deleteCurrentDeployment=true"

再次查看CM主页，CM配置已导入成功

启动服务

启动Cloudera Mangement Service

Cloudera Management Service启动成功后，等待parcel分发完成，然后启动集群服务并分发客户端配置。

查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL

cat /etc/cloudera-scm-server/db.properties

5 迁移集群其他服务元数据库

此时只有CM的数据库scm迁移到了MySQL，集群其他服务的元数据库（Hive、Sentry、Hue、Oozie等）仍然配置的为PostgreSQL，接下来主要介绍通过使用工具将PostgreSQL数据库迁移至MySQL数据库，如下示例以迁移Hive元数据库为例。

下载安装数据库转换工具 DBConvert for MySQL & PostgreSQL，下载地址如下：

https://dbconvert.com/downloads/dbconvert_mysql_postgresql.zip

下载完成之后解压，执行dbconvert_mysql_postgresql文件夹下的setup.exe进行安装

安装完成后打开该软件，选择【Try】使用版

这里以hive元数据库转换为例，配置PostgreSQL数据库连接信息

测试连接成功，单击下一步

此时会显示数据库中的所有表，全部勾选；然后单击【OK】

配置目标数据库连接信息（即我们要迁移的MySQL信息）

测试连接成功后单击【Next】

自定义要转换的表，然后单击【Next】

单击【commit】开始进行转换

转换成功后显示如下

然后依次转换其他数据库即可

注意：转换hue数据库时，有些表因为外键的原因不能被转换，根据提示取消相关外键即可

数据库迁移完成后，登录mysql查看数据库如下：

创建用户并授予数据库上的权限

CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;
CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; 
GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';   
FLUSH PRIVILEGES;
CREATE USER 'rman'@'%' IDENTIFIED BY 'password'; 
GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%'; 
FLUSH PRIVILEGES;
CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; 
GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';  
FLUSH PRIVILEGES;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; 
GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; 
FLUSH PRIVILEGES;

更换数据库服务器

进入Hive配置页面，修改Hive的Metastore数据库类型为MySQL，然后修改其在 MySQL中的数据库名称

oozie服务重启失败，报错如下

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:
Table 'oozie.VALIDATE_CONN' doesn't exist

解决方式：为oozie服务创建数据库

完成上述修改后，然后回到CM主页，根据提示重启相关服务

服务重启完成后，此时数据库已迁移至MySQL数据库服务器。

6 迁移后验证

Hue验证

查看Hue当前数据库类型为MySQL

使用管理员账号admin登录Hue验证数据是否完整

admin用户的管理员权限与迁移前一致

迁移后的用户信息与迁移前数据一致

用户组信息与迁移前信息一致

Hive验证

查看Hive当前数据库类型为MySQL

通过Hue查看Hive数据库以及表信息如下：

查看分区表数据如下：

查看分区表结构如下：

由上图可知，数据库迁移完成后Hive的数据库、表、表结构以及表数据均迁移成功。

Sentry验证

查看Sentry当前数据库类型为MySQL

通过Hue查看Sentry的授权信息如下：

使用hive用户进行建表测试

建表成功

向表中插入数据，数据插入成功

执行查询操作，查询成功

7 总结

1 将Cloudera Manager服务使用的PostgreSQL迁移至MySQL时，主要通过CM API接口导出集群配置信息json文件，再通过CM API接口导入完成数据库的迁移。

2 集群其它服务（Hive、Sentry、Oozie、Hue等）在迁移时并未相应的API接口实现，主要是通过DBConvert for MySQL & PostgreSQL工具将PostgreSQL数据的数据转换为MySQL数据库的方式解决。

3 在进行Hue数据库转换的过程中由于部分表外键的问题，导致转换失败，需要将报错的外键取消勾选。

4 Oozie服务重启失败，报错如下：

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: 
Table 'oozie.VALIDATE_CONN' doesn't exist

解决方式：为oozie服务创建数据库