SSIS 实例 从Ftp获取多个文件并对数据库进行增量更新。

整个流程

Step 1 放置一个FTP Task 将远程文件复制到本地

建立FTP链接管理器后 Is LocalPatchVariable 设置为Ture 并创建一个变量设置本地路径

Operation 设置为 Receive files

OverwriteFileAtDest 设置为True

同样的设置远程路径变量

 

Step 2 放置一个Foreach Loop ，循环将文件内容导入到数据库

Collection 页中Enumerator 选择Foreach File Enumerator

图中 Folder： 用表达式里面的 Directory代替，变量值直接套用FTP配置建立的LocalStoreFiles变量

Files设置不变，保持 *.* 获取目录下所有文件

Retrieve file name ，选择Fully qualified  （获取文件全名，包括目录）

Variable Mappings 页 新增一个变量LoadFile 用来获得 Fully qualified的返回值

Step 3 放置一个Data Flow Task 到 Foreach Loop Container并打开

    1） 创建一个Flat File Connection Manager 并选择一个文件进行配置

点击Flat File Connection Manager ，然后在属性中配置表达式，将链接字符串设置为刚才设置的变量 LoadFile。用来获取每个文件

   

    2） 放置一个 Flat File Source 并选择刚才配置的Flat File Connection Manager

此时可以先先测试一下效果。注意由于LoadFile现在没有值，执行的时候SSIS检查到可能会报错，我们把 StoreFile 的 DelayValidation 属性设置为True即可

  3） 放置一个Lookup判断原有数据是否重复

Lookup 配置增量方式也可以参考我之前几篇文章

[译]Stairway to Integration Services Level 3 - 增量导入数据

[译]Stairway to Integration Services Level 4 - 增量更新数据

[译]Stairway to Integration Services Level 5 - 增量删除数据

 

    4） 放置一个OLE DB Destination，改名为 Staging 然后将Lookup的Lookup Match Output 连到 Staging 用来存放匹配的记录

    5） 再放置一个OLE DB Destination，改名为 Stores Table 然后将Lookup的Lookup No Match Output 连到Stores Table用来放未匹配的新纪录

Step 4 拖动一个Execute SQL Task到Control Flow，用来更新匹配的记录

执行语句

update stores
set TerritoryID = ss.TerritoryID
,StoreName = ss.StoreName
,Address1 = ss.Address1
,Address2 = ss.Address2
,City = ss.City
,State = ss.State
,Zip = ss.Zip
from stores s
join StoreStaging ss
on ss.BusinessEntityID = s.BusinessEntityID

之后与Foreach Store File Loop 链接

Step 5 再拖一个Execute SQL Task 用来清空临时表

Step6 移动已导入的文件

1） 建立一个 File Connection Manager ，并选择‘已完成’目录，更名为Complete Folder

2） 在建立一个 File Connection Manager 并随意选择一个csv文件，更名为StoreFilePhy

同样的，设置连接字符串

3） 拖一个 File System Task 到 Foreach Store File Loop里面

进行相关设置

 

至此整个过程结束