在云计算、大数据和物联网时代,数字化转型悄然在各行各业中进行。然而数据作为最基础的要素,如何进行多源异构的海量数据交换?如何保证数据的时效性和准确性?如何让海量异构数据实现云上、云下的协同?是我们长此以往关注的焦点。而ZMP数据迁移平台正致力于云间数据交换场景,支持不同数据结构,可帮助政企客户快速搭建高性能、高安全、高可靠、高稳定的数据交换平台。
1. 功能
ZMP数据迁移平台不仅有基础的系统、用户和主题管理,也有可视化运维的服务器管理及消息监控等,更主要的是集成了消息服务、数据转换同步等中间件,同时加入了迁移评估和应用的智能改造。
服务器管理:提供服务器、消息服务、同步组件的安装、启停、配置和监控等功能。
主题管理:提供消息服务主题的创建、删除、编辑和监控,在数据交换中,不需要用户创建和删除主题,由数据交换任务统一管理。
数据迁移评估:提供源库数据库(Oracle9i,Oracle11g,Oracle12c,SQLserver)的数据采集,画像及目的端数据库为云溪数据库或MySQL时的兼容性评估。
数据采集:针对多个Oracle版本和SQLServer,构建了数据采集工具。
源库画像:根据采集的数据,自动生成智能五边图(规模,会话,风险,负载,复杂度),数据库的概要信息与详细信息——包括数据库性能及运行时的性能,容量,Oracle特性,对象详情、全景搜索等。用户可以直观地把握以上信息,并在详情页查看具体的信息。同时,在不同对象的依赖关系里,还可以实现跳转,帮助理解数据库原有结构。
兼容评估:将源库所有对象与SQL语句进行解析,判断其与目标库(之间的兼容情况,并输出其统计结果。在评估详情中看到每一个对象的兼容情况及迁移风险等情况。
数据交换:提供作业、任务、数据源和同步表的创建、删除、编辑、监控和统计报表功能。
支持结构化数据交换:云溪数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。
支持非结构化数据交换:Linux/Windows文件、FTP、SFTP、OSS、HDFS各种样式,各种大小的数据交换。
支持半结构化数据交换:JSON、CSV等半结构化数据与数据库交换。
支持多协议数据采集:MQTT、COAP、MODBUS、XPH、DICOM、HTTP、RTSP、RTMP等。
智能改造:加载源代码(工程)文件夹,对其中文件进行嗅探,寻找其中的SQL语句,并进行统计、分析、改造,并对改造情况进行统计分析,并提供手动查看与改造等相关功能。
用户管理:提供用户的创建、删除、编辑、权限分配和审计等功能。
系统配置:提供控制台日志、系统告警等功能。
版本管理:提供同步组件安装包更新、同步组件升级等功能。
2. 优势
ZMP数据迁移平台在支持多种数据源的基础上,提供可视化拖拽方式进行流程编排。既大大降低了对源端的影响,又提高了同步效率。同时支持超大文件和各种网络数据传输。
同步效率高:每秒10万级记录以上同步量。
源端影响小:支持Oracle、SQLserver、MySQL、MariaBD和达梦日志增量同步,不需要依赖触发器、CDC、时间戳。
多字段时间戳:支持多时间戳、增量字段、支持时间戳及增量字段向前偏移。
DDL变更捕获:支持数据库级别和表字段级别
数据管理监控:采用可视化拖拽方式进行流程编排,可视化管理监控数据流向、数据统计、数据报表及相关警告。
支持结构化数据交换:云溪数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。
超大文件和网络数据传输:支持复杂环境下TB级别文件,支持中继路由、文件网闸、有限带宽等各种网络数据传输,支持断点续传。
国产化环境及中间件:支持mips、x86、arm等CPU架构和金蝶、中创等。
3. 架构
功能架构:
技术架构:
数据库交换架构:
文件交换架构:
4. 应用
各种类型数据、大数据平台和行业应用,通过ZMP数据迁移平台实现高效的数据交换。医疗通信等行业产生的结构化、非结构化、文件等数据,通过ZMP平台抽取、转换、加密传输和入库,最大化实现数据的价值。同时云上云下数据协同。
跨网络、跨防火墙、跨中继路由、跨网闸等方式部署平台可使用多种不同的应用场景。异构采集对数据源影响小,实现数据高效采集,可靠传输,支持海量消息存储;数据交换支持单节点每秒百万级消息处理,集群下支持每秒亿级消息吞吐量,消息容量可达PB级。