Oracle ODI系列之一（ODI知识模块）

Oracle ODI系列之一（ODI知识模块）


ODI简介
ODI（Oracle Data Integrator）前身是Sunopsis Active Integration Platform，在2006年底被Oracle收购，重新命名为Oracle Data Integrator。主要定位于在ETL和数据集成的场景里使用。ODI和Oracle原来的ETL工具OWB相比有一些显著的特点，比如和OWB一样是ELT架构，但是比OWB支持更多的异构的数据源等等，本系列文章将逐步介绍ODI的一些基本概念。

什么是ODI的知识模块
个人觉得Oracle的Data Integrator里最好最有特点的特征是提出了知识模块的概念(Knowledge Module)。ETL的发展总是从手工编程开始，然后逐渐出现专门的ETL工具，其实我们在项目里所能够遇到的一些场景（如把文件载到数据库，从Mysql数据库抓取数据放到Oracle数据库里，从DB2把数据抓取出来放在Oracle数据库里等）撇开这些数据抽取和转换工作的业务部分，其实总是可以总结为
file->Oracle
Mysql->Oracle
DB2->Oracle
Oracle->DB2
。。。
如果撇开具体的项目不谈，这些都是一些被反复使用的场景，ODI提出了知识模块的概念，把这些场景的详细的实现步骤作为一个一个的知识模块并使用Jython脚本语言结合数据库的SQL语句录制成一步一步的步骤忠实地记录下来，这样就形成了ODI里的100多个知识模块，基本上包含了所有普通应用所涉及到的所有场景。更方便的是，用户既可以直接使用ODI的知识模块完成数据的获取工作，也可以直接在知识模块上面做各种定制，比如某一个业务场景可能并不需要知识模块里的某一个特定的步骤，那就可以直接把该步骤删除掉从而提供更好的性能。当然用户也可以完全自己来开发这些知识模块。
ODI知识模块(Knowledge Module)的分类
ODI的知识模块主要分为几个大类（RKM,CKM,LKM,IKM,SKM），其中最重要的是LKM（load KM）和IKM(Integration KM)RKM：
RKM完成从源系统和目标系统的数据结构的反向工程来形成数据模型的功能。
CKM:CKM完成数据质量检查。
LKM：LKM完成从源数据库数据加载到临时表。
IKM：IKM完成从临时表的数据加载到目标表。
SKM：SKM完成ODI和WEB服务接口的功能。
SKM(Service KM)：Web服务知识模块，可以使用该知识模块来生成Web服务调用
ODI认为一个数据的流动包含从源表到临时表，然后从临时表到目标表的过程，而临时表可以放在源上，或者放在目标数据库上，可以自己选择。（当然，通过自己来改动KM也完全可以对这个概念做改动，甚至可以使用一个KM完成所有的工作）。
如下图（临时表放在目标数据库上，然后数据的转换在目标数据库上完成）：
如何定制知识模块
这里我们通过分析一个具体的知识模块来看看知识模块的概念。一个项目需要先把项目里用到的知识模块导入进来：双击相应知识模块，就会出现知识模块里的具体步骤：如下图上面显示了一个使用Oracle的dblink技术来完成从一个Oracle数据库里把数据导入临时区的LKM的详细步骤，双击一个步骤则会显示这个步骤完成的具体的命令：上图窗口下方就是完成这个步骤的具体命令，不同的知识模块，不同的步骤，显示的可能不太一样，有些像是SQL语句，有些则象JAVA语言（Jython脚本），然后还会出现一些类似snpRef.getInfo()的函数，关于这些宏变量和函数的具体含义可以从ODI的参考文档里找到，上图的这个步骤最终生成的其实是一个创建dblink的sql命令。每一个知识模块的步骤既可以删除，也可以增加，所以可以非常容易地实现ODI的扩展。通过在一个原有的知识模块上修改形成新的知识模块是最容易的定制方式，另一种方式是完全可以通过Jython这种语言来写知识模块，则是一种更加灵活和复杂的知识模块的定制方式。