kettle实现数据加载

一、加载用户数据至用户维度表

1.打开kettle创建一个新的转换并命名，添加控件“表输入”（两个）、“映射（子转换）”、“字段选择”、“值映射”、“维度查询/更新”。并建立Hop跳连接线。

 2.双击“表输入”控件，点击“新建”建立数据库连接，配置如下图，并输入获取字段的代码，代码如下，点击浏览查看是否获取成功。

 

3.双击“表输入2” ，新建数据库连接，配置完成后输入代码获取字段，并查看字段是否获取成功。

 4.新建一个子转换并命名，并按下图添加控件。

 5.配置“映射输入规范”。

6.配置“数据库查询”，新建数据连接，在“表名”右侧点击“浏览”添加数据表，字段配置如下图。

 7.配置“数据库查询2”，新建数据连接，在“表名”右侧点击“浏览”添加数据表，字段配置如下图。

 8.配置“数据库查询3”，新建数据连接，在“表名”右侧点击“浏览”添加数据表，字段配置如下图。

9.配置“过滤记录”控件，按下图配置。

 10.配置“javascript代码”控件，勾选“兼容模式？”，输入下图代码。点击获取变量。

11.进入“字段选择” 控件，移除处添加以下字段。

 12.上面已经完成了子转换的所有配置，接下来回到上一个转换，双击“映射”控件。在“转换右侧点击“browse”选择刚才建立好的子转换。即完成该控件。

13.“字段选择”控件的配置，在“元数据”处实现如下配置。

 14.配置“值映射”控件。按下图配置。

15.配置“维度查询/更新”控件，按下图配置。

16运行该转换。点击“Prevew data” 可查看数据。

 二、加载商店数据至商店维度表

1.打开kettle新建转换，并命名，按下图添加控件。

 2.双击进入“表输入”控件的配制，新建数据库连接，输入sql查询语句，点击“预览”查看获取的数据。

 

 3.配制“表输入2”控件的配置，新建数据库连接的配置，输入sql查询语句，预览数据是否抽取成功。

 4.配置“映射（子转换）”。选择上一题中的子转换。

 5.配置“数据库查询”控件，新建数据库连接，选择表，字段选择如下图。

 6.配置“维度查询/更新”控件。

 7.运行该转换。