一起学习SSIS

    最近在开发一个数据校验、转换的项目,使用的是Mirosoft的SQLServer 20005 Intergration Service  - 简称SSIS,感觉到SSIS的功能的确很强大。通过自己的学习研究和咨询微软的MVP徐老师,熟悉了SSIS的使用方法并已经开发出成型可用的东西。

    我在这里说一下我们通过SSIS完成的功能,如果各位也有类似的功能需求,可以借鉴此套解决方案。如在SSIS开发中遇到问题,可以与我联系。我们一起学习。

    使用工具:Microsoft Visual Stuidio 2005, Microsoft SQLServer 2005,Intergraion Service.

    技术:VB.NET,WebService,SQLServer 存储过程

    系统运行流程:
    1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
    2 B/S业务管理系统把用户上传的文件路径(一个或多个文件)、业务参数通过WebService(VB.NET编写)发送给ETL子系统(我负责的数据转换、校验系统)
    3 ETL子系统接收到参数之后,通过TFTP去B/S业务管理系统服务器上获取需处理的源文件,下载到本地的一个目录。
    4 VB.NET程序到数据表里查询预先定义好的配置信息,选择需要执行的DTS包(或称为SSIS包)路径,然后执行DTS包
    5 DTS包中完成了对源文件(可以是DBF、EXCEL、TXT等)的校验和数值转换。符合业务规则的数据保存到一个标准格式的TXT,不符合业务规则的数据(例如:字段值为空,字段值没有对应标准值等)保存到错误清单。
    6 把生成后的结果通过TFTP上传到B/S业务管理系统的服务器。

    大致就是这个流程,其中还包含VB.NET程序对处理流程的细节控制以及DTS包中的细节处理,也许你会说:用××实现就能实现这个功能而且还简单,但是我想你的××工具不会像这个解决方案灵活。SSIS做数据ETL的数据整合还是很不错的。

   有兴趣的程友可与联系,一起学习讨论数据整合的相关技术。随着IT技术的发展,企业需要对企业内部的各业务系统的数据进行整合,也需要与其他企业的业务系统的数据进行整合,Microsoft BizTalk Server可以完成消息的整合,但是大数据量的ETL数据整合,用SSIS实现起来效果还是比较好的。

你可能感兴趣的:(SSI)