Informatica基础系列(三)——表达式、筛选、查找组件

目录:

Informatica基础系列(零)——前言

Informatica基础系列(一)——Helloworld

Informatica基础系列(二)——更新策略转换组件

Informatica基础系列(三)——表达式、筛选、查找组件

Informatica基础系列(四)——联结组件、路由组件

Informatica基础系列(五)——参数与变量

Informatica基础系列(六)——发布环境、迁移知识库

Informatica基础系列(七)——常见问题、注意事项

Informatica基础系列(外)——不支持 MySQL Community 版本的解决方案

正文:

今天不务虚,干点实事,继续分享 Infa,这次介绍三个组件的用法:表达式组件(Expression Transformation,以下简称 ET)、筛选组件(Filter Transformation,以下简称 FT)、查找组件(Lookup Transformation,以下简称 LT)。

1. 概念介绍

第一,表达式组件,用于对字段进行公式计算,或者简单的逻辑判断表达式,进而做一些简单的转换操作。第二,筛选组件,很明显是对数据的筛选,过滤掉不传输的记录。第三,查找组件,是根据字段查找对应的表记录,得到想要的字段值。这么描述,也许不太容易理解,下面我们做一个 demo,很快就能理解了。

2. demo 描述

先给出 Source 数据,如下图所示:

可以看到,我在 Source 加了一个 Gender 字段,保存的是 Int 类型。最上面的Dictionary 是一个字典表,保存的是枚举字段(Gender)的映射关系,比如 Gender = 0,代表“女”。我们的需求是把 Source 数据 Upset 到 Target,其中 Source.Gender 要转换为文本保存到 Target.GenderText,并且 Source.Id = 1 的记录不做处理(过滤掉)。

3. 开发步骤

首先要重新导入 Source、Target,因为表结构发生了变化(如果变化较小,可以直接在 Source、Target 上调整)。另外,导入我们新建的 Dictionary 表,作为 Source 导入(也可作为 Target),后续用于 Lookup,如下图所示:

导入后可以看到,Source、Target 的新增字段 Gender、GenderText 已经上去了,Dictionary 也有了,如下图所示:

接下来设计 Mapping,SQ 后面拖一个 ET ,将 SQ 的 Gender 拖到 ET,并按下图所示添加 2 个常量字段 TableName、ColumnName,为 LT 的传入做准备。

再拖一个 LT 进来,如下图所示:

LT 的目的是从 Dictionary 表中查找 Source.Gender 对应的 ItemValue,并连入 Target.GenderText,LT 中多余的字段可以删除,如下图所示:

然后将事先准备好的 ET 的字段连入到 LT 作为判断条件,如下图所示:

为了语义清晰,我们对着三个字段重命名,以表示是传入的字段,如下图所示:

接着就可以添加 LT 的条件了,点击 “Condition” tab,编辑如下:

这样就可以了,LT 的 ItemValue 出来就是我们想要的 Gender 文本值了。但是还有一种情况我们没有考虑,假如 Gender 的值不是 0 也不是 1,这个值在 Dictionary 是找不到对应的文本值的,我们需要得到一个“未知”的结果,比如 Source 有一条“观世音菩萨”的 Gender = -1。为了处理这种情况,我们再加一个 ET 加以判断,如下图所示:

上图编辑框内的代码表示:如果 ItemValue 为空,则等于“未知”,否则就等于 ItemValue。接下来是最后一个 FT,拖一个 FT 进来,编辑 FT 的条件:Id <> 1 的记录被抽取,如下图所示:

最后将线连接到 Target,Mapping 就完成了。切换到 Workflow 界面 Refresh Mapping 后,将传输模式改为 Update,并将 Target 处理模式改为 Update else Insert,如下图所示:

需要注意的是,添加的 LT 需要在 Session Task 上指定一下 DB 连接,如下图所示:

4. 验证结果

最后运行一下,并看下 Target 拿到的数据是否如我们预期的那样,如下图所示:

可以看到,Id = 1 的“李海波”没抽取,GenderText 也如预期转换成功了,“观世音菩萨”的性别是“未知”,都按照我们的需求实现了!感谢关注,希望对您有益!

欢迎关注我的微信公众号:惜福 / xifu_forever,微信扫一扫即可关注:

你可能感兴趣的:(informatica,etl,ETL)