SSIS操作MSSQL的千万级数据导入到Oracle数据库

前提：服务器配置8G内存，安装Oralce 11G数据库，MSSQL2008 R2数据库（服务没启动）

客户机配置8G内存，安装MSSQL2008 R2数据库，数据从客户机导入到服务器。SSIS在服务器上面运行

问题：将MSSQL的历史表与当前表数据导入到Oracle数据库，数据量大于1千万

注：

1.历史表与当前表的主键ID（代理键）可能重复

2..Oracle是用序列生成主键ID（代理健），导入到Oracle后的ID可以跟以前表的ID不一样

方法1：在Oracle数据库的ID上建立触发器使ID自增（类似于MSSQL的IDENTITY列），然后在MSSQL建立链接服务器到Oracle库，然后经过INSERT INTO　OPENQUERY() SELECT ... FROM t1 UNION ALL SELECT ... FROM t2来进行插入数据。

个人感觉这种方法执行完看不到数据转移的过程，不够直观，数量到达千万级别，要等很久（可能超过半天），关键是等了很久不知道是否失败还是成功。可以加以改进的地方就是在某级可以分段字段上面进行分段，分几次批量插入，而不是一次性插入，可以不用等那么久。不管怎么说，我都不推荐这种方法，毕竟数量这么多。还是一点就是触发器可能会影响插入数据的速度（未测）。

 

方法2：不用在Oracle建触发器，但必需在MSSQL多做一些工作，具体的话：建一个（Tmp_Oracle)与要插入Oracle的表一样，然后设置将其ID设置成IDENTITY列，然后可以直接在MSSQL库上将历史表与当前表数据导入到Tmp_Oracle表中，这几千万数据导入到这个表中还是很快，大概就是5到8分钟的过程（视电脑配置不同而定）。然后用MSSQL提供的数据导出导入功能。配置相应要复制数据源及目的地数据源，然后对应查询结果集要映射到Oracle表中，虽然在最后那边可以看到导入行的进度行，但我发现这个包竟然是一个事务，那边显示导入了几十W条数据竟然在数据库无法查询，万一失败不是就回滚了，我晕，而且速度也不快。果断放弃了

 

方法3：是在方法2的基本上进行改进。只是不再用MSSQL提供的数据导出导入功能，而是要我们将着重介绍的SSIS工具来将MSSQL的数据导入到Oracle表中，因为SSIS配置比数据导出导入灵活多了。我采用OLE源从MSSQL库中提取我的千万数据，然后一些数据不符合规则进行数据转换或派生列来生成满足条件的列，可以在数据源转换尽量不要在这边进行操作，然后下游到查找组件,这个去查找Oracle已经在在的ID，将无匹配定向到无匹配向输出，这就是比数据导入导出功能出色及厉害的地方。（如果上次导入500W数据以后，失败了，我这次再导的话经过查找组件就可以少导500W数据），然后将查找组件下游的无匹配输出到OLE源，也就是目的地，Oracle数据表。

经测试1分钟大概可以导入4W左右的数据，一个小时也有240W的数据。如果是2千万的也就是8，9个小时的事，晚上电脑不关机可以搞定，还是可以接受了，毕竟第一个晚上就可以出结果了。