让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第1张图片

数据库国产化迁移,

如何确认全库迁移数据是否一致?

TB级数据,

怎么才能快速逐条校验?

单表巨大,

数据校验无从下手?

项目背景

某财务系统数据库服务采用2节点的Oracle RAC实例,现需要进行国产化改造,将数据迁移到4节点部署的一主三备KES高可用集群中。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第2张图片

全库数据量级高达TB级。财务系统数据至关重要,且停机窗口时间有限,客户要求在数据迁移后的10小时内完成数据一致性确认。面对繁杂的数据类型,如此大的数据量,而且数据一致性校验又是对全库数据内容的逐条校验,对常规的校验工具来说,几乎是不可能的任务。

而事实也证明了本次任务难度:项目验证阶段,现场技术人员小刘采用的校验工具无法按时完成校验任务。

数据库迁移,

如何保障每条数据安全抵达“新家园”,

小刘求助金仓MOSS,

开启“灵魂发问”

.........

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第3张图片

嘿~终于等到你,还好我没放弃!

这里是金仓MOSS,关于数据库的问题,我都可以为您解答。

TB级数据迁移后,怎么才能完成数据一致性校验?

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第4张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第5张图片

经过我的认真思考,推荐使用金仓异构增量数据同步产品KFS,支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据稳定。

您的数据迁移场景具体情况是?

异构数据库迁移,Oracle 12c RAC迁移至KES集群。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第6张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第7张图片

全库数据量多大?表的数据库量分布如何?

全库有570+张表,800+分区。全库数据量1TB+,约20亿+条数据,单表最大数据量100G+,7亿条数据。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第8张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第9张图片

好的,数据类型包含哪些?

除常见的整型、字符型、日期类型外,还有数据校验比较棘手,会极大拉低校验速度的大对象类型、xml等类型。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第10张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第11张图片

请问对数据校验的完成时间是否有要求?

停机窗口时间有限,必须在10小时内完成全库的数据一致性确认。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第12张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第13张图片

没问题,后台将根据您的数据校验场景进行模拟验证。

稍等,金仓MOSS从未离开.....

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第14张图片

恭喜您。经历测试环境多轮验证,平均耗时7小时16分,完全能满足您的需求。

测试环境验证结果:

第1次:耗时7小时22分

第2次:耗时7小时10分

第3次:耗时7小时17分

面对如此复杂困难的场景,为什么KFS能超出预期完成任务?

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第15张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第16张图片

KFS能轻松完成任务,离不开大表分片和多表并行校验技术。

  • 大表分片

对于单表大数据量校验的情况,KFS可以根据指定列的数据,将大表数据拆分成多个区间,通过比对各区间的数据,从而覆盖全表数据。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第17张图片

  • 多表并行校验

对于全库数据校验的情况,KFS支持设置并行数,多表并行校验,充分利用硬件资源,提高校验性能,减少校验耗时。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第18张图片

技术可行,但时间紧迫,现场人员的实施工作难度如何?

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第19张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第20张图片

您是想要官方的回答还是幽默的回答?

想要你的回答。

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第21张图片

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第22张图片

我的回答是别担心。KFS图形化界面提供了任务创建、校验执行、校验进度监控及结果查看,通过图形界面覆盖了数据校验的全生命流程,易上手,极大降低了使用难度。

最后,祝您好运。

结果如何呢?

国产化迁移如期开始,在数据库迁移完成后,小刘使用KFS图形化管理平台,快速创建和设置数据校验任务,利用KFS大表分片和多表并行校验技术顺利完成全库数据校验,共耗时7小时05分。经过应用验证后,项目圆满上线。

edc9971b8f2464af5d37fcb15b6d7ffb.gif

“数据千万条,安全第一条”。数据库国产化迁移中,数据一致性保障非常重要。KFS作为一款面向同城/异地灾备等场景的异构增量数据同步产品,在保证自身数据同步高可用、高可靠、高性能的同时,考虑到用户对数据一致性的强烈需求,为用户提供了数据校验功能,不仅支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据安全。

彩蛋

关于金仓KFS,

有的朋友或许还有疑问,

现在后台留言,

金仓MOSS将继续为您解答哦~

对于金仓KFS的使用体验,

欢迎更多朋友留言,

一旦成为精选评论,

获赞前十名的伙伴,

小编将送上精美礼品,

感谢关注~

6fa95e28689a6441d7348adce731aef0.png

供稿:产品研发中心

编辑:王堇

审核:日尧

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”_第23张图片

你可能感兴趣的:(数据库)