上下级平台之间数据同步方案_一体化数据治理和共享平台－数据交换与服务工具介绍...

引言数据服务交换和服务工具作为一体化数据治理和共享平台一个重要组成部分,包含了数据采集服务、数据交换服务、数据加工服务、数据共享服务等模块。数据交换和服务工具采用面向微服务的插座式的架构，实现数据交换、数据整合、数据复制、数据的传输、数据共享等功能。支持跨组织、跨网段的、不同区域的、上下级单位海量数据交换和服务、适应基于前置机的、物理隔绝的数据交换和服务等多种应用场景，保证数据完整性、安全性、可靠性和传输性能，确保提升数据质量与及可用性，为数据需求部门提供准确可用的数据。本文详细介绍数据服务交换和服务工具发展阶段,相关功能及典型的应用场景。一数据服务交换和服务工具经历三个阶段

本文档---数据服务交换和服务工具处于第三个阶段，是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段

第一个阶段是比较原始的，缺少工具阶段。通过写脚本、针对项目的开发实现，工具化程度差，项目实施和运维成本高。

第二个阶段多样化的工具阶段，提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足，需要多个工具集成，缺少统一的架构、有孤岛，集成实施成本高，交换过程中面临丢包、系统堵塞等问题，安全稳定性差。

第三个阶段是统一的数据交换和服务平台，提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。二挑战与解决思路2.1传统的数据交换工具面临挑战

(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致。

(2)当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。

(3)当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图2.2跨网段情况下的大数据量的数据交换与服务思路

(1)基于统一的数据交换服务实现了端对端的数据交换。

(2)通过事务处理机制保证跨网段交换的数据一致性。

(3)状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。三

数据交换与服务工具总览

数据服务交换和服务工具包含数据采集服务、数据交换服务、数据加工服务、数据共享服务等模块，并提供统一的工具实现可视化配置、任务的管理、安全管理、运维监控等。

͏

数据交换与服务工具

数据服务工具采用面向服务的架构，提供数据服务实现数据交换、数据整合、数据复制、数据的传输、数据共享等功能。主要包括运行支撑、加工组件、服务组件、数据服务总线等组成。

基于统一工具、统一的架构、统一的运行支撑、统一元数据管理实现数据采集、交换、加工、共享等功能，可以根据项目特点选择不同的模块组合，形成不同的数据服务和治理解决方案。

基于微服务架构的“插座式”架构四数据交换与服务工具详细功能设计4.1数据采集服务组件

数据采集服务主要负责异构、异地的多源数据到贴源缓存区的采集，实现内外部系统的结构化数据、半结构化数据、非结构化数据等不同类型、不同时效的数据的复制与整合。

(1)异构数据的采集与加工

基于流加工技术提供统一、规范的数据接入方法，从内外部数据源向平台导入结构化数据(如关系型数据库数据、应用系统数据、生产实时数据)、半结构化数据(如日志、邮件等)、非结构化数据(如文本、图片、视频、音频、网络数据流等)等不同类型的数据、不同时效的数据，并提供这些数据的整合方式。主要特点：提供分组平行加工能力，提高数据采集的性能。

支持复杂网络环境下可靠数据采集，提供跨网段、跨单位的联动式数据采集。

提供事务处理机制，保证采集数据的一致性。

通过统一的采集处理接口，方便不同的采集源集成，满足特殊数据采集的需要。

通过可视化工具实现异构、异地数据采集的可视化配置；实现采集过程中的数据加工规则的可视化配置；实现数据采集过程中的可视化管理和监控。

(2)数据复制

支持结构化数据和非结构化数据的复制，将异构、异地的数据库数据、文件数据复制到缓存库中。

数据复制与验证服务

1)数据库数据复制

通过日志分析，能捕捉变化的结构、变化数据，并将变化的结构、变化的数据通过数据流复制技术复制到缓存库。支持异地、同城、同中心的数据复制。支持关系数据库复制。通过数据流复制技术，实现同构或者异构数据库之间的复制，包括了：Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、AS 400、Informix、My S