SQL Server 多表数据增量获取和发布 1

功能需求：

子公司统一门户系统已完成开发，安全运行一年。接到通知，总部也开发了一套统一门户，要求各子公司使用总部开发的平台，子公司领导讨论决定使用总公司开发的平台，但是也不放弃自己开发的平台，而使用一个折中的方案——使用子公司统一平台发布信息后需要将数据同步到总公司开发的平台数据库中（时间间隔需要越短越好）

开发问题：

1、无法提供统一门户系统源码，只能提供门户表的数据字典
2、领导要求基于门户表内容进行数据变化记录功能——当数据变化（新增，编辑，删除），同步信息到总公司平台，同时本地记录变化信息（永久保存或者保存几个月）
3、需要保证同步的准确性和数据变化的实效性

开发思路：

在开发前，首先考虑的了几个问题：
1、无法获取统一门户平台源代码，哪些技术方法就不能使用
2、如何实时记录数据库表的变化信息，写一个循环服务还是有工具软件可以实现
3、用什么技术进行开发，选取什么应用作为开发模式

一、首先基于第一点，无法得到源代码，如果在有源代码的前提下，可以采取的方式为——对需要修改的表，进行代码层更改，新建一张表历史信息表，在对应增加删除修改的方法前后的前后进行日志记录。因为没有源码，服务->数据库的这条路径就走不通，只能想办法走数据库->服务这条路。

二、实时记录数据库表变化信息，通过百度找到了俩种可能实现的方式。
1、SqlDependency
SqlDependency是封装在.net framework种的一个帮助类库，可以实现对sqlserver 数据库的单表监听
好处：
1、使用简洁
2、网上资源较多
坏处：
1、版本好像只支持sqlserver 2005,太局限
2、实现逻辑太复杂，且只是对单表监控，如果要对多表，还需自己定制化修改
3、根据demo,调试运行发现无法实现监听功能（本机用的是sqlserver 2008 r2版本，估计正好和第1点对应）

2、变更数据捕获（Change Data Capture 即CDC）功能
CDC功能主要捕获SQLServer指定表的增删改操作，由于任何操作都会写日志（哪怕truncate），所以CDC的捕获来源于日志文件。日志文件会把更改应用到数据文件中，同时也会标记符合要求的数据标记为需要添加跟踪的项。然后通过一些配套函数，最后写入到数据仓库中。大概流程：

cdc流程.png

好处：
1、在SQLServer2008（含）以后的企业版、开发版和评估版中可用。支持的数据库版本更多
2、网上对CDC的讲解和使用文档很多，方便学习
3、sqlserver自身的服务，安全可靠，且支持多表（只需一条配置语句），简单方便，效率高
4、方便运维

三、项目基于.Net开发，先编写一个测试demo,使用控制台程序。
大体的思路是：
建立三个类库+一个服务
模型层，公共帮助层，业务逻辑层+UI（控制台）

步骤1：基于cdc功能配置数据库需要的表，完成数据捕获功能配置。
步骤2：编写一个服务：循环秒后读取CDC新生成的数据捕获表，根据时间戳获取需要每张表的数据，将获取的数据放入一个队列中，同时将数据序列化放入日志表，设置标志位：未读状态
步骤3：开启一个方法——循环秒读取队列中的内容，如果队列中存在值，启动事务，同时修改数据库日志表当前信息的状态位和发送信息到总公司统一门户平台