分布式数据库--ZMP数据迁移平台

在云计算、大数据和物联网时代，数字化转型悄然在各行各业中进行。然而数据作为最基础的要素，如何进行多源异构的海量数据交换？如何保证数据的时效性和准确性？如何让海量异构数据实现云上、云下的协同？是我们长此以往关注的焦点。而ZMP数据迁移平台正致力于云间数据交换场景，支持不同数据结构，可帮助政企客户快速搭建高性能、高安全、高可靠、高稳定的数据交换平台。

1.  功能

ZMP数据迁移平台不仅有基础的系统、用户和主题管理，也有可视化运维的服务器管理及消息监控等，更主要的是集成了消息服务、数据转换同步等中间件，同时加入了迁移评估和应用的智能改造。

• 服务器管理：提供服务器、消息服务、同步组件的安装、启停、配置和监控等功能。

• 主题管理：提供消息服务主题的创建、删除、编辑和监控，在数据交换中，不需要用户创建和删除主题，由数据交换任务统一管理。

• 数据迁移评估：提供源库数据库（Oracle9i，Oracle11g，Oracle12c，SQLserver）的数据采集，画像及目的端数据库为开务数据库或MySQL时的兼容性评估。

• 数据采集：针对多个Oracle版本和SQLServer，构建了数据采集工具。

• 源库画像：根据采集的数据，自动生成智能五边图（规模，会话，风险，负载，复杂度），数据库的概要信息与详细信息——包括数据库性能及运行时的性能，容量，Oracle特性，对象详情、全景搜索等。用户可以直观地把握以上信息，并在详情页查看具体的信息。同时，在不同对象的依赖关系里，还可以实现跳转，帮助理解数据库原有结构。

• 兼容评估：将源库所有对象与SQL语句进行解析，判断其与目标库（之间的兼容情况，并输出其统计结果。在评估详情中看到每一个对象的兼容情况及迁移风险等情况。

• 数据交换：提供作业、任务、数据源和同步表的创建、删除、编辑、监控和统计报表功能。

• 支持结构化数据交换：开务数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。

• 支持非结构化数据交换：Linux/Windows文件、FTP、SFTP、OSS、HDFS各种样式，各种大小的数据交换。

• 支持半结构化数据交换：JSON、CSV等半结构化数据与数据库交换。

• 支持多协议数据采集：MQTT、COAP、MODBUS、XPH、DICOM、HTTP、RTSP、RTMP等。

• 智能改造：加载源代码（工程）文件夹，对其中文件进行嗅探，寻找其中的SQL语句，并进行统计、分析、改造，并对改造情况进行统计分析，并提供手动查看与改造等相关功能。

• 用户管理：提供用户的创建、删除、编辑、权限分配和审计等功能。

• 系统配置：提供控制台日志、系统告警等功能。

• 版本管理：提供同步组件安装包更新、同步组件升级等功能。

2.  优势

ZMP数据迁移平台在支持多种数据源的基础上，提供可视化拖拽方式进行流程编排。既大大降低了对源端的影响，又提高了同步效率。同时支持超大文件和各种网络数据传输。

• 同步效率高：每秒10万级记录以上同步量。

• 源端影响小：支持Oracle、SQLserver、MySQL、MariaBD和达梦日志增量同步，不需要依赖触发器、CDC、时间戳。

• 多字段时间戳：支持多时间戳、增量字段、支持时间戳及增量字段向前偏移。

• DDL变更捕获：支持数据库级别和表字段级别

• 数据管理监控：采用可视化拖拽方式进行流程编排，可视化管理监控数据流向、数据统计、数据报表及相关警告。

• 支持结构化数据交换：开务数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。

• 超大文件和网络数据传输：支持复杂环境下TB级别文件，支持中继路由、文件网闸、有限带宽等各种网络数据传输，支持断点续传。

• 国产化环境及中间件：支持mips、x86、arm等CPU架构和金蝶、中创等。

3.  架构

功能架构:

技术架构:

数据库交换架构:

文件交换架构:

4.  应用

各种类型数据、大数据平台和行业应用，通过ZMP数据迁移平台实现高效的数据交换。医疗通信等行业产生的结构化、非结构化、文件等数据，通过ZMP平台抽取、转换、加密传输和入库，最大化实现数据的价值。同时云上云下数据协同。

跨网络、跨防火墙、跨中继路由、跨网闸等方式部署平台可使用多种不同的应用场景。异构采集对数据源影响小，实现数据高效采集，可靠传输，支持海量消息存储；数据交换支持单节点每秒百万级消息处理，集群下支持每秒亿级消息吞吐量，消息容量可达PB级。