8.3 案例实现(加载员工数据至员工维度表)

操作介绍:

通过Kettle工具加载员工数据至员工维度表dim_staff。

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换load_dim_staff,并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第1张图片2.配置表输入控件

双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第2张图片在SQL框中编写SQL语句,用于获取字段staff_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update;单击“预览”按钮,查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第3张图片

8.3 案例实现(加载员工数据至员工维度表)_第4张图片3.配置表输入2控件

双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第5张图片在SQL框中编写SQL语句,用于获取sakila数据库中staff数据表中的最新数据,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第6张图片

4.配置字段选择控件

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据仓库sakila_dw中字段staff_active的数据类型为char类型,因此,我们需要将数据表staff中字段active的数据类型改为String类型,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第7张图片5.配置值映射控件

双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,这里是将Y替换成Yes,将N替换成No,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第8张图片

6.配置维度查询/更新控件

双击“维度查询/更新”控件,进入“维度查询/更新”界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第9张图片单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id,用于指定维度表字段和值映射控件流中字段的比较条件,若维度表中的数据有更新,则通过字段staff_id进行更新操作;在“字段”选项卡处添加查询/更新字段,用于更新目标维度表中的字段数据;在“代理关键字段”处的下拉框中选择staff_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择staff_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择staff_valid_from;在“截止日期字段”处的下拉框中选择staff_valid_through,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第10张图片

8.3 案例实现(加载员工数据至员工维度表)_第11张图片7.运行转换load_dim_staff

单击转换工作区顶部的运行按钮,运行创建的转换load_dim_staff,实现加载员工数据至员工维度表dim_staff中,如图所示。

8.3 案例实现(加载员工数据至员工维度表)_第12张图片8.查看数据表dim_staff中的数据

通过SQLyog工具,查看数据表dim_staff是否已成功插入员工数据,查看结果如图所示。

 

 

你可能感兴趣的:(kettle数据清洗案例,数据库,java,开发语言)