该实验旨在指导用户使用DRS将RDS MySQL上的数据迁移到 GaussDB中。 本实验涉及数据复制服务DRS(Data Replication Service)、关系型数据库服务RDS(Relational Database Service)、GaussDB、数据管理服务DAS(Data Admin Service)、VPC(虚拟私有云)、公网IP(EIP)等华为云服务。
1) 、本实验秉承最小化(表级)资源未使用UGO进行结构迁移,使用DRS迁移时可选择同步表结构。
2)、完成本实验账号需要有云上相应资源权限。
● 计费模式:按需计费
● 区域:华北-北京四
● 实例名称:gauss-hccdp,您可自定义
● 产品类型:基础版
● 数据库版本:2.7
● 实例类型:主备版 ---因资源问题本次实验申请主备版模拟(操作与分布式版无差异)
● 性能规格:通用增强II型 4vCPUs|16GB
● 虚拟私有云、内网安全组:选择已预置的VPC及安全组
● 管理员密码:请设置为Jlzt!123单击“立即购买”后,在确认页面提交订单。
在控制台中鼠标选择页面左侧菜单栏,点击“服务列表” > ”数据库” > “云数据库 RDS”。
点击“购买数据库实例”进入参数填写界面配置相关参数:
● 计费方式:按需计费
● 区域:华北-北京四
● 实例名称:rds-hccdp,您可自定义
● 数据库引擎: MySQL
● 数据库版本:5.7
● 实例类型:单机
● 储存类型:SSD 云盘
● 性能规格:通用型,2vCPUs|4GB注意:请确认所选类型为“通用型”。 ● 虚拟私有云:选择已预置的VPC
● 数据库端口:默认(3306)
● 管理员密码:请设置为Jlzt!123点击“立即购买”,确认产品规格,单击“提交”。
状态从“创建中”变为”备份中”,最终变为“正常”则为购买完成。
RDS for MySQL数据库实例创建成功后,选中实例名称,单击。
如下图:
进入实例基本信息界面后,可滑动至“连接信息”,点击安全组中的“安全组名称”。如下图:
在安全组设置界面,选择“入方向规则”,点击添加规则:
在添加入方向规则界面,对参数进行设置,其余保持默认。设置如下:
● 优先级:1
● 协议端口:基本协议/自定义TCP(默认)3306
设置完成后,可以在界面上看到该规则,如下:
RDS for MySQL数据库实例创建成功后,选择实例右侧的“登录”。
如下图:
进入数据库管理服务DAS界面,在“实例登录”窗口中:
填写购买实例是所设的数据库root用户密码(本文设置为Jlzt!123)。
单击“测试连接”,确认有“连接成功”的提示返回。
勾选“记住密码”,打开“定时采集”和“SQL执行记录”。
新增用户数据库finance。字符集保持默认
单击“SQL查询”,进入查询界面。
执行以下代码,并执行SQL在数据库finance中创建两个表client和bank_card。
DROP TABLE IF EXISTS client; CREATE TABLE IF NOT EXISTS client ( c_id INT PRIMARY KEY AUTO_INCREMENT, c_name VARCHAR ( 100 ) NOT NULL, c_mail CHAR ( 30 ) UNIQUE, c_id_card CHAR ( 20 ) UNIQUE NOT NULL, c_phone CHAR ( 20 ) UNIQUE NOT NULL, c_password CHAR ( 20 ) NOT NULL, c_bit BIT DEFAULT NULL ); DROP TABLE IF EXISTS bank_card; CREATE TABLE bank_card ( b_number CHAR(30) PRIMARY KEY, b_type CHAR(20), b_c_id INT NOT NULL ); |
利用DAS的“数据方案”中“自动生成测试数据”在测试表中构造测试数据。
在“自动生成测试数据”页面中单击“新建任务”先构造client表中的数据。
在“新建测试数据生成任务”对话框中,目标表选择”client”,将c_mail、c_id_card、c_phone三个有唯一约束的字段需要修改生成方式,使其满足唯一性要求。
在左侧单击字段c_mail,在右侧“生成方式”区域将“生成类型”修改为“非重复字符串”,选项选为“系统随机”,同时勾选下方的“遇到数据冲突则替换”。使用同样方法,设置c_id_card、c_phone的字段生成方式。
单击“生成数据”,在提示框中单击“是”。
用相同的办法构造bank_card表的测试数据。注意:b_number为主键,不允许重复,故需要修改生成类型为非重复字符串。同时勾选下方的“遇到数据冲突则替换”。
两张表的数据生成后,会在“自动生成测试数据”窗口中显示数据生成的详细信息。
检查测试数据是否已成功插入表中。在“SQL查询”窗口中,依次执行如下语句,可以查询到预置数据100000条已成功插入表格中。
SELECT COUNT(*) FROM client;
SELECT COUNT(*) FROM bank_card;
登录GaussDB数据库
实例状态显示“正常”即表示实例已创建成功。
进入云数据库GaussDB控制台。
单击实例右侧的“登录”。
在“实例登录”对话框中,输入购买服务时所设的root用户密码(本文设置为Jlzt!123),并测试连接。确认可以连接成功。
勾选“记住密码”,打开“定时采集”和“SQL执行记录”。
说明:postgres是GaussDB实例内置的系统库。
为目标GaussDB实例创建测试用数据库finance
单击“新建数据库”,数据库名称设为finance,DBCOMPATIBILITY设为MySQL。其他参数保持默认即可,然后单击“确定”。
在控制台中,单击服务列表选择“数据库” > “数据复制服务 DRS”。
进入“实时同步管理”页面,单击右上角“创建同步任务”,进入同步页面。
在“同步实例”下,填选任务信息和同步实例信息参数:
● 计费模式:按需计费
● 区域:华北-北京四
● 任务名称: DRS-hccdp,您可自定义
● 数据流动方向:入云
● 源数据库引擎:MySQL
● 目标数据库引擎:GaussDB 主备版
● 网络类型: VPC网络
● 目标数据库实例:下拉选择搭建环境章节节创建的GaussDB实例
● 同步模式:全量+增量
点击“开始创建”,在弹出的提示框中单击“我已阅读并同意”。待同步实例生成后会有实例对应的网络信息。
同步实例创建成功后,在“源库及目标库”下,填写源库信息和目标库信息。
源库信息:
● 源库类型:RDS实例
● 数据库实例名称:下拉选择步骤1.1.1购买的RDS实例
● 数据库用户名:root
● 数据库密码:本文设置为Jlzt!123
点击“测试连接”,连接成功如下图:
注意:同步实例必须创建成功后才能点击“测试连接”。
目标库信息:
● 数据库实例名称:默认
● 数据库用户名:root
● 数据库密码:本文设置为Jlzt!123
同上点击“测试连接”,连接成功如图所示:
确定源库和目标库连通后,单击“下一步”并在提示框中单击“同意,并继续”进行确认。
设置同步
将在源端RDS构造的测试库展开,勾选上测试表,将测试表移动到右侧
输入1.4节在GaussDB实例创建测试database的名称finance
确认无误后,点击下一步,进入预检查。
在“预检查”页面可以进行同步任务预检查,校验是否可以进行数据同步。
如图所示,查看检查结果,如有不通过的检查项,需要修复后,单击“重新校验”按钮重新进行同步任务的预检查。 待所有检查项结果均成功时,单击“下一步”。
说明:所有检查项结果均成功时,若存在告警,需要阅读并确认告警详情后才可以继续执行下一步操作。
任务确认
● 启动时间:立即启动
● 任务异常通知设置:不勾选
● 任务异常自动结束时间:14 <<<<默认天数
单击“启动任务”
在弹出的“启动前须知”,点击“启动任务”提交同步任务。同步任务提交后,您可以返回“实时同步管理”页面,查看同步任务状态。
等待同步任务启动后,会经历全量同步和增量同步两个阶段,对于不同阶段的同步任务,您可以进行任务管理。
全量同步中的任务,您可单击任务名称,在 “同步进度”页签下,查看同步任务的进度。全量同步经过等待期后,进入同步过程。可以查看全量同步完成剩余时间,了解全量同步的进度。当全量同步进度显示为 100%,表示全量同步已经完成。
全量同步任务完成后,使用DAS登录源端RDS MySQL。
登录成功后,确认是否有“SQL查询”窗口处于打开中,如果有,请进入下一步。如果没有,请在上方菜单中选择“SQL操作>SQL查询”。
执行以下SQL,向bank_card表中插入新数据。
INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020011001','信用卡',1); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020340002','信用卡',3); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020860003','信用卡',5); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000004','信用卡',7); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020780005','信用卡',9); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000006','信用卡',10); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020025007','信用卡',12); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000008','信用卡',14); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020069009','信用卡',16); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020356010','信用卡',18); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020412011','储蓄卡',19); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('62220213020212030012','储蓄卡',21); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000013','储蓄卡',7); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000014','储蓄卡',23); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000015','储蓄卡',24); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000016','储蓄卡',3); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000017','储蓄卡',26); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000018','储蓄卡',27); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000019','储蓄卡',12); INSERT INTO bank_card(b_number,b_type,b_c_id) VALUES ('6222021302020000020','储蓄卡',29); |
执行如下SQL查询插入数据后表中的数据总条数。此时发现手动插入测试数据已经成功insert。
使用DAS登录目标端GaussDB实例。
在SQL查询窗口左上角库名选择“finance”,Schema选择“finance”。拷贝代码,并执行SQL
SELECT count(*) from bank_card;
SELECT * from bank_card where b_c_id=29;
可以看到,DRS将源端RDS MySQL的增量数据已经成功同步到目标端 。
打开桌面的xfce终端,使用gsql连接数据库。
在命令行依次输入下列语句:
wget https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com:443/20221121/GaussDB-Kernel-V500R001C20-EULER-64bit-gsql.tar.gz
tar -zxvf GaussDB-Kernel-V500R001C20-EULER-64bit-gsql.tar.gz
source gsql_env.sh
返回控制台页面,在左侧图标栏,单击服务列表图标,选择弹性公网IP。
点击“购买弹性公网IP”,参数填写界面配置相关参数:
● 计费方式:按需计费
● 区域:华北-北京四
● 线路:全动态BGP(默认)
● 公网带宽:按流量计费
● 带宽大小:5(默认)
点击“立即购买”,确认信息无误后单击“提交”:
可以看到弹性公网IP购买成功:
回到GaussDB登录界面,点击左侧GaussDB实例名称,进入GaussDB实例,操作如下:
可看到具体的实例信息,找到连接信息,绑定弹性公网IP:
在弹出的“绑定弹性公网IP”窗口中,选择已创建的IP并单击“确定”。通过刷新可查看是否绑定成功,绑定成功后显示如下:
使用gsql语句连接数据库,并查看SQL检查增量数据是否已经同步成功。
gsql -h 120.46.xxx.xx -d finance -p 8000 -U root -W Jlzt!123 -r
成功登陆后可进行数据库相关操作。