黑马程序员《数据清洗》学习笔记第八章综合案例（3）
目录
第八章综合案例（3）
8.3.7 加载演员数据至演员维度表
1.打开Kettle工具，创建转换
2.配置表输入控件
3.配置表输入2控件
4.配置插入/更新控件
5.运行转换load_dim_actor
6.查看数据表dim_actor中的数据
8.3.8 加载电影数据至电影维度表
1.打开Kettle工具，创建转换
2.配置表输入控件
3.配置表输入2控件
4.配置数据库查询控件
5.配置数据库查询2控件
6.配置值映射控件
7.配置列拆分为多行控件
8.配置增加常量控件
9.配置列转行控件
10.配置计算器控件
11.配置数据库连接控件
12.配置数据库查询3控件
13.配置增加常量2控件
14.配置列转行2控件
15.配置计算器2控件
16.配置联合查询/更新控件
17.配置数据库连接2控件
18.配置数据库查询4控件
19.配置分组控件
20.配置计算器3控件
21.配置流查询控件
22.配置插入/更新控件
23.运行转换load_dim_film
24.查看数据表dim_film和数据表dim_film_actor_bridge中的数据
第八章综合案例（3）
案例【8.3.7 8.3.8】
需要从MySQL官网下载数据库sakila的建库脚本，若是在Windows环境下安装数据库sakila，下载名称为sakila_bd.zip的压缩包文件；若是在Linux环境下安装数据库sakila，下载名称为sakila_bd.tar.gz的压缩包。需要导入压缩包中的文件，下载MySQL关系型数据库，SQLyog工具。
8.3.7 加载演员数据至演员维度表
1.打开Kettle工具，创建转换
使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图8-1。
图 8-1
2.配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-2。
图 8-2
在SQL框中编写SQL语句（代码如下），用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图8-3。
SELECT
COALESCE(MAX(actor_last_update),"1970-01-01 00:00:00")
AS max_dim_actor_last_update
FROM dim_actor;
图 8-3
3.配置表输入2控件
双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-4。
图 8-4
在SQL框中编写SQL语句，用于获取数据库sakila中数据表actor中的最新数据（代码如下）。
SELECT
actor_id
, first_name
, last_name
, last_update
FROM actor where last_update > ?
4.配置插入/更新控件
双击“插入/更新”控件，进入“插入/更新”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-5。
图 8-5
单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_actor；单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段如图8-6。
图 8-6
单击【获取和更新字段】按钮，用来指定需要更新的字段，如图8-7。
图 8-7
5.运行转换load_dim_actor
单击转换工作区顶部的运行按钮，运行创建的转换load_dim_actor，实现加载演员数据至演员维度表dim_actor中，如图8-8。
图 8-8
6.查看数据表dim_actor中的数据
通过SQLyog工具，查看数据表dim_actor是否已成功插入演员数据，查看结果，如图8-9。
图 8-9
8.3.8 加载电影数据至电影维度表
1.打开Kettle工具，创建转换
使用Kettle工具，创建一个转换load_dim_film，并添加表输入控件、数据库查询控件、值映射控件、列拆分为多行控件、增加常量控件、列转行控件、计算器控件、数据库连接控件、联合查询/更新控件、分组控件、流查询控件、插入/更新控件以及Hop跳连接线，如图8-10。
图 8-10
2.配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-11。
图 8-11
在SQL框中编写SQL语句（代码如下），用于获取字段film_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update；单击“预览”按钮，查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图8-12。
SELECT
COALESCE(MAX(film_last_update),"1970-01-01 00:00:00")
AS max_dim_film_last_update
FROM dim_film
图 8-12
3.配置表输入2控件
双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-13。
图 8-13
在SQL框中编写SQL语句，用于获取sakila数据库中film数据表中的最新数据（代码如下）。
SELECT
film_id
, title
, description
, CAST(release_year AS UNSIGNED) AS release_year
, language_id
, original_language_id
, rental_duration
, rental_rate
, length
, replacement_cost
, rating
, special_features
, last_update
FROM film where last_update > ?
4.配置数据库查询控件
双击“数据库查询”控件，进入“数据库查询”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-14。
图 8-14
单击表名处的【浏览】按钮，添加数据表language，用于查询电影的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的字段name，并重命名为language，如图8-15。
图 8-15
5.配置数据库查询2控件
双击“数据库查询2”控件，进入“数据库查询”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-16。
图 8-16
单击表名处的【浏览】按钮，添加数据表language，用于查询电影原版的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回字段name并重命名为original_language，并对于电影原版语言为Null值，则可设置默认值为Not Application，如图8-17。
图 8-17
6.配置值映射控件
双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段rating，指定对电影级别的字段rating进行映射；在“目标字段名”处添加rating_text字段，用于存储目标值；在“字段值”框中，添加源值和目标值，其中，源值为G（大众级，所有年龄的观众均可观看）、PG（普通级，建议在父母的陪伴下观看）、PG-13（普通级，但不适于13岁以下儿童，需要父母陪同观看）、R（限制级，17岁以下必须由父母或者监护陪伴才能观看）、NC-17（禁止17岁或者以下观众观看），这些均为美国电影分级级别的简称，对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted，值映射控件的配置，具体如图8-18。
图 8-18
7.配置列拆分为多行控件
双击 “列拆分为多行”控件，进入“列拆分为多行”界面，由于special_features字段表示的是电影的特点，而电影的特点有多个，因此要进行拆分；在“要拆分的字段”处的下拉框选择要拆分的字段special_features；在“分隔符”处指定分隔符；在“新字段名”框中，添加新的字段名，用于存放利用分隔符分割后得数据，如图8-19。
图 8-19
8.配置增加常量控件
双击“增加常量”控件，进入“增加常量”配置界面，在字段框中添加常量字段Yes和No，并指定值为yes和no，用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容，有则用yes标识，反之用no标识。“增加常量”控件的配置，如图8-20。
图 8-20
9.配置列转行控件
双击“列转行”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature进行列转行操作；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段，如图8-21。
图 8-21
10.配置计算器控件
双击“计算器”控件，进入“计算器”界面，在“字段”处，添加新字段，用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据，如图8-22。
图 8-22
11.配置数据库连接控件
双击“数据库连接”控件，进入“Database join”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮；在SQL框中编写SQL语句（代码如下），用于根据电影id获取电影的分类；在“The parameters to use”框中，添加编写SQL语句需要的参数，即film_id，计算器控件流中的字段film_id作为参数进行传递，供数据库连接控件使用MySQL数据库连接的配置，如图8-23。
select category_id
from film_category
where film_id = ?
图 8-23
12.配置数据库查询3控件
双击“数据库查询3”控件，进入“数据库查询”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-24。
图 8-24
单击表名处的【浏览】按钮，添加数据表category，用于获取电影分类的id；在“查询所需的关键字”框中，添加查询所需的关键字字段category_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即name，并重命名为category，如图8-25。
图 8-25
13.配置增加常量2控件
双击“增加常量2”控件，进入“增加常量”界面，在字段框中添加常量字段Yes，由于在“增加常量”控件中设置的常量Yes已经被替换，所以需要添加一个常量，具体如图8-26。
图 8-26
14.配置列转行2控件
双击“列转行2”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段category，根据电影分类的名称对电影进行分类；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段，具体如图8-27。
| # | 分组字段 |
| 1 | film_id |
| 2 | title |
| 3 | description |
| 4 | release_year |
| 5 | language_id |
| 6 | original_language_id |
| 7 | rental_duration |
| 8 | rental_rate |
| 9 | length |
| 10 | replacement_cost |
| 11 | rating |
| 12 | special_features |
| 13 |
last_update |
| 14 | language |
| 15 | original_language |
| 16 | rating_text |
| 17 | No |
| 18 | tmp_has_trailers |
| 19 | tmp_has_trailers |
| 20 | tmp_has_deleted_scenes |
| 21 | tmp_has_behind_the_Scenes |
| 22 | has_behind_the_Scenes |
| 23 | has_commentaries |
| 24 | has_deleted_scenes |
| 25 | has_trailers |
| 26 | category_id |
| 27 | category_id |
| # | 目标字段 | 数据字段 | 关键字值 | 类型 |
| 1 | tmp_is_category_action | Yes | Action | String |
| 2 | tmp_is_category_animation | Yes | Animation | String |
| 3 | tmp_is_category_children | Yes | Children | String |
| 4 | tmp_is_category_classics | Yes | Classics | String |
| 5 | tmp_is_category_comedy | Yes | Comedy | String |
| 6 | tmp_is_category_documentary | Yes | Documentary | String |
| 7 | tmp_is_category_drama | Yes | Drama | String |
| 8 | tmp_is_category_family | Yes | Family | String |
| 9 | tmp_is_category_foreign | Yes | Foreign | String |
| 10 | tmp_is_category_games | Yes | Games | String |
| 11 | tmp_is_category_horror | Yes | Horror | String |
| 12 | tmp_is_category_music | Yes | Music | String |
| 13 | tmp_is_category_new | Yes | New | String |
| 14 | tmp_is_category_sci- | Yes | Sci-Fi | String |
| 15 | .tmp_is_category_sports | Yes | Sports | String |
| 16 | tmp_is_category_travel | Yes | Travel | String |
图 8-27
15.配置计算器2控件
双击“计算器2”控件，进入“计算器”界面，在“字段”处，添加新字段，用于将列转行2控件流中字段category中的NULL值替换成No，如图8-28。
图 8-28
16.配置联合查询/更新控件
双击“联合查询/更新”控件，进入“联合查询/更新”界面，，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-29。
图 8-29
单击目标表右侧的【浏览】按钮，选择目标表，即维度表dim_film，用于加载最新的电影维度数据，并在“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字段；在“关键字段”框中添加维度字段和流里的字段如图8-30。
| # | 维度字段 | 流里的字段 |
| 1 | film_id | film_id |
| 2 | film_title | title |
| 3 | film_description | description |
| 4 | film_release_year | release_year |
| 5 | film_rental_duration | rental_duration |
| 6 | film_rental_rate | rental_rate |
| 7 | film_replacement_cost | replacement_cost |
| 8 | film_rating_code | rating |
| 9 | film_last_update | last_update |
| 10 | film_language | language |
| 11 | film_original_language | original_language |
| 12 | film_rating_text | rating_text |
| 13 | film_has_behind_the_scenes | has_behind_the_Scenes |
| 14 | film_has_commentaries | has_commentaries |
| 15 | film_has_deleted_scenes | has_deleted_scenes |
| 16 | film_has_trailers | has_trailers |
| 17 | film_in_category_action | film_is_category_action |
| 18 | film_in_category_animation | film_is_category_animation |
| 19 | film_in_category_children | film_is_category_children |
| 20 | film_in_category_classics | film_is_category_classics |
| 21 | film_in_category_comedy | film_is_category_comedy |
| 22 | film_in_category_documentary | film_is_category_documentary |
| 23 | film_in_category_drama | film_is_category_drama |
| 24 | film_in_category_family | film_is_category_family |
| 25 | film_in_category_foreign | film_is_category_foreign |
| 26 | film_in_category_games | film_is_category_games |
| 27 | film_in_category_horror | film_is_category_horror |
| 28 | film_in_category_music | film_is_category_music |
| 29 | film_in_category_new | film_is_category_new |
| 30 | film_in_category_scifi | film_is_category_sci- |
| 31 | film_in_category_sports | film_is_category_sports |
| 32 | film_in_category_travel | film_is_category_travel |
图 8-30
17.配置数据库连接2控件
双击“数据库连接2”控件，进入“Database join”界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，在SQL框中编写SQL语句（代码如下），用于根据电影id获取演员的id，从而获取演员的基本信息；在“The parameters to use”框中，添加需要的参数，即film_id，如图8-31。
select actor_id
from film_actor
where film_id = ?
图 8-31
18.配置数据库查询4控件
双击“数据库查询4”控件，进入“数据库查询”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮，如图8-32。
图 8-32
MySQL数据库连接的配置，单击表名处的【浏览】按钮，添加数据表dim_actor，用于获取演员的基本信息；在“查询所需的关键字”框中，添加查询所需的关键字字段actor_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图8-33。
图 8-33
19.配置分组控件
双击“分组”控件，进入“分组”界面，在“构成分组的字段”框中添加分组字段film_key，对“数据库查询4”控件流中的数据按字段film_key进行分组；在“聚合”框中添加聚合字段count_actors，用于统计出演某部电影的演员个数，分组控件的配置如图8-34。
图 8-34
20.配置计算器3控件
双击“计算器3”控件，进入“计算器”界面，在“字段”处，添加新字段one和actor_weighting_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除；字段actor_weighting_factor用于存储演员的权重因子，如图8-35。
图 8-35
21.配置流查询控件
双击“流查询”控件，进入“流里的值查询”界面，在“Lookup step”处的下拉框选择要查询的流，即计算器3控件流；在“查询值所需的关键字”处，添加用于查询流里值的字段，即film_key，通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据；在“指定用来接收的字段”框中，添加用来接收值的字段actor_weighting_factor，最终输出，流查询控件的配置，如图8-36。
图 8-36
22.配置插入/更新控件
双击“插入/更新”控件，进入“插入/更新”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-37。
图 8-37
单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_film_actor_bridge；单击【获取字段】按钮，用来指定查询数据所需要的关键字；单击【获取和更新字段】按钮，用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据，更新维度表dim_film_actor_bridge表中数据。插入/更新控件的配置如图8-38。
图 8-38
23.运行转换load_dim_film
单击转换工作区顶部的运行按钮，运行创建的转换load_dim_film，实现加载电影数据至电影维度表dim_film，如图8-39。
图 8-39
24.查看数据表dim_film和数据表dim_film_actor_bridge中的数据
通过SQLyog工具，查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据，查看结果如图8-40，8-41。
图 8-40
图 8-41