第八章 综合案例——构建DVD租赁商店数据仓库②

8.3.5加载用户数据至用户维度表

1.打开Kettle工具

打开Kettle工具,创建一个转换load_dim_customer,并添加表输入,映射(子转换),字段映射,值映射,维度查询/更新等控件。  第八章 综合案例——构建DVD租赁商店数据仓库②_第1张图片                                                                 

2.配置表输入控件 

双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                                                                             第八章 综合案例——构建DVD租赁商店数据仓库②_第2张图片

在SQL框中编写用于获取字段customer_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update。

第八章 综合案例——构建DVD租赁商店数据仓库②_第3张图片 

单击“预览”按钮,查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”。

第八章 综合案例——构建DVD租赁商店数据仓库②_第4张图片

                                                                              

3.配置表输入2控件 

双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                  第八章 综合案例——构建DVD租赁商店数据仓库②_第5张图片

在SQL框中编写SQL语句,用于获取数据库sakila中数据表customer中的最新数据。                                                                     第八章 综合案例——构建DVD租赁商店数据仓库②_第6张图片

 

4.使用Kettle工具,创建一个转换fetch_address 

使用Kettle工具,创建一个转换fetch_address(该转换为转换load_dim_customer的子转换),并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件。                                                          第八章 综合案例——构建DVD租赁商店数据仓库②_第7张图片

5.配置映射输入规范控件                                 

第八章 综合案例——构建DVD租赁商店数据仓库②_第8张图片

 

6.配置数据库查询控件 

单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。

第八章 综合案例——构建DVD租赁商店数据仓库②_第9张图片 单击名右侧的【浏览】按钮,添加数据表address;在“查询所需的关键字”框中,添加查询所需的关键字字段address_id,由于该字段是唯一的,因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件;在“查询表返回的值”框中,添加查询表返回的值。                                  第八章 综合案例——构建DVD租赁商店数据仓库②_第10张图片                                         

7.配置数据库查询2控件 

双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                                                                                第八章 综合案例——构建DVD租赁商店数据仓库②_第11张图片

单击表名处的【浏览】按钮,添加数据表city;在“查询所需的关键字”框中,添加查询所需的关键字字段city_id,作为数据表city中数据和数据库查询2控件流中数据相比较的条件;在“查询表返回的值”框中,添加查询表返回的值。                                                                               

第八章 综合案例——构建DVD租赁商店数据仓库②_第12张图片

8.配置数据库查询3控件 

双击“数据库查询3”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。

                                                  第八章 综合案例——构建DVD租赁商店数据仓库②_第13张图片

单击表名处的【浏览】按钮,添加数据表country;在“查询所需的关键字”框中,添加查询所需的关键字字段country_id,用于指定字段流与表字段的数据进行比较的比较条件;在“查询表返回的值”框中,添加查询表返回的值。       第八章 综合案例——构建DVD租赁商店数据仓库②_第14张图片                                                                           

9.配置过滤记录控件 

双击“过滤记录”控件,进入“过滤记录”配置界面,在“条件”处设置过滤的条件,对有第二个地址的用户进行过滤操作;单击左边“”框,弹出字段对话框,选择要过滤的字段address2。单击“=”框,弹出函数对话框,选择过滤条件(这里选择的是IS NOT NULL),即过滤指定字段中不为空的数据,单击【确定】按钮,完成过滤条件的选择。在“发送true数据给步骤:”处的下拉框中选择“JavaScript代码”,将有第二个地址的用户放在JavaScript控件中,用于后续的操作;在“发送false数据给步骤:”处的下拉框中选择“字段选择”,将没有第二地址的用户过滤掉。                               

第八章 综合案例——构建DVD租赁商店数据仓库②_第15张图片

 

10.配置JavaScript代码控件 

双击“JavaScript代码”控件,进入“JavaScript代码”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码。                                                             第八章 综合案例——构建DVD租赁商店数据仓库②_第16张图片

 

11.配置字段选择控件 

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移除”处添加要移除的字段。         第八章 综合案例——构建DVD租赁商店数据仓库②_第17张图片                                                                   

12.配置映射控件 

双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息。

                                                              第八章 综合案例——构建DVD租赁商店数据仓库②_第18张图片

 

13.配置字段选择控件 

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据表customer中字段active的类型为tinyint,因此需要将字段active的类型改为String,与维度表dim_customer中字段customer_active的类型相对应。                                                                第八章 综合案例——构建DVD租赁商店数据仓库②_第19张图片

 

14.配置值映射控件 

双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,由于数据表customer中字段active的值为1和0,对应的是Y和N,这里将Y替换成Yes,将N替换成No。                                                                 

第八章 综合案例——构建DVD租赁商店数据仓库②_第20张图片

 

15.配置维度查询/更新控件 

单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。

                                           第八章 综合案例——构建DVD租赁商店数据仓库②_第21张图片

单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_customer;在“关键字”选项卡处添加关键字字段customer_id,用于指定维度表字段和流字段的比较条件;在“字段”选项卡处添加查询/更新字段;在“代理关键字段”处的下拉框中选择customer_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择customer_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择customer_valid_from;在“截止日期字段”处的下拉框中选择customer_valid_through。                                                                    第八章 综合案例——构建DVD租赁商店数据仓库②_第22张图片

16.运行load_dim_customer转换

单击转换工作区顶部的按钮,运行创建的转换load_dim_customer,实现加载用户数据至用户维度表dim_customer中。      

第八章 综合案例——构建DVD租赁商店数据仓库②_第23张图片

第八章 综合案例——构建DVD租赁商店数据仓库②_第24张图片

                                                                          


8.3.6加载商店数据至商店维度表 

1.打开Kettle工具

打开Kettle工具,创建一个转换load_dim_store,并添加表输入,映射输入规范,数据查询,维度查询/更新等控件。                                                      第八章 综合案例——构建DVD租赁商店数据仓库②_第25张图片

2.配置表输入控件 

双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                                                                              第八章 综合案例——构建DVD租赁商店数据仓库②_第26张图片

在SQL框中编写SQL语句,用于获取字段store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update。

第八章 综合案例——构建DVD租赁商店数据仓库②_第27张图片 单击“预览”按钮,查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00”。         

第八章 综合案例——构建DVD租赁商店数据仓库②_第28张图片

                                                                   

 

3.配置表输入2控件 

双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                                                                     第八章 综合案例——构建DVD租赁商店数据仓库②_第29张图片

在SQL框中编写SQL语句,用于获取sakila数据库中store数据表中的最新数据。                                                     第八章 综合案例——构建DVD租赁商店数据仓库②_第30张图片

 4.配置映射控件

双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息。                   第八章 综合案例——构建DVD租赁商店数据仓库②_第31张图片

 

 5.配置数据库查询控件

双击“数据库查询”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接。                                                                                   第八章 综合案例——构建DVD租赁商店数据仓库②_第32张图片

单击表名右侧的【浏览】按钮,添加staff数据表,用于查询商店员工的信息;在“查询所需的关键字”框中,添加查询所需的关键字staff_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即员工姓名。                                                        第八章 综合案例——构建DVD租赁商店数据仓库②_第33张图片

6.配置维度查询/更新控件 

单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。                                                                  第八章 综合案例——构建DVD租赁商店数据仓库②_第34张图片

单击【浏览】按钮,选择输出的目标表,即维度表dim_store;在“关键字”选项卡处添加关键字字段store_id,用于指定维度表字段和流字段的比较条件;在“代理关键字段”处的下拉框中选择store_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择store_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择store_valid_from;在“截止日期字段”处的下拉框中选择store_valid_through。在“字段”选项卡处添加查询/更新字段,用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段。                                                 第八章 综合案例——构建DVD租赁商店数据仓库②_第35张图片

 

7.运行load_dim_store转换

单击转换工作区顶部的按钮,运行创建的转换load_dim_store,实现加载商店数据至商店维度表dim_store中。   

第八章 综合案例——构建DVD租赁商店数据仓库②_第36张图片                                                                          

你可能感兴趣的:(etl,big,data,数据库)