第8章综合案例——构建DVD租聘商店数据仓库

一.学习目标
        了解数据库sakila中的数据表

        理解数据仓库sakila_dw 的架构设计

        熟悉DVD租赁商店的业务流程

        掌握构建DVD租赁商店数据仓库的具体实现

二.案例介绍
        概要：sakila样本数据库是MySQL官方提供的一个模拟DVD租赁商店管理的数据库。本章，我们将综合运用前面几章的知识，对数据库sakila中的数据进行清洗操作，从而构建一个DVD租赁商店数据仓库系统，即实现定期从源数据库sakila中抽取增量数据，转换成符合DVD租赁业务的数据，最后加载到目标数据仓库中。

        2.1.案例背景介绍
                在日益激烈的商业竞争中，在线DVD租赁商店的决策者都迫切地需要更加准确的战略决策信息。每个在线DVD租赁商店的数据都存储在数据库中，因此该数据库中拥有海量的数据，并不缺乏足够的信息，但是这些数据并不是战略决策需要的信息。虽然这些海量数据对于在线DVD租赁商店的运作是非常有用的，但是对于商业的战略决策和目标制定的作用是微乎其微的。

                对于在线DVD租赁商店的决策者来说，他们需要从多个不同的商业角度观察数据，例如时间、电影、演员、用户等角度观察数据，并进行相关的分析得出决策，但是数据库中的数据不适合从多个角度进行分析，无法得出战略决策。然而，数据仓库支持复杂的分析操作，侧重于决策支持，并且还提供直观易懂的查询结果，因此我们需要基于数据库sakila创建一个DVD租赁商店数据仓库，并将sakila数据库中的数据加载到数据仓库中，便于在线DVD租赁商店的决策者对数据进行分析得出商业决策。

        2.2.数据仓库的架构模型
                数据仓库sakila_dw的架构模型是一个星型模型，其中dim_film表、dim_customer表、dim_actor表、dim_store表、dim_staff表、dim_date表以及dim_time表均为维度表；fact_rental表为事实表。

  sakila_dw.sql

三.数据准备
        3.1.数据库sakila的下载和安装
我们可以从MySQL的官网下载数据库sakila的建库脚本，若是在Windows环境下安装数据库sakila，则下载名称为sakila-db.zip的压缩包文件；若是在Linux环境下安装数据库sakila，需要下载名称为sakila-db.tar.gz的压缩包文件。 本次下载的是名称为sakila-db.zip的压缩包文件，该压缩包文件中包含三个文件，分别是文件sakila.mwb、文件sakila-data.sql和文件sakila-schema.sql。其中，文件sakila.mwb是一个MySQL Workbench数据模型，用于查看数据库结构；文件sakila-data.sql是用于创建数据库sakila的数据；文件sakila-schema.sql是用于创建数据库sakila的数据结构。

数据库sakila下载完成后，直接解压压缩包，然后使用MySQL图形化管理软件SQLyog(本文使用navicat)先运行脚本文件sakila-schema.sql创建数据库sakila和数据表，再运行脚本文件sakila-data.sql向数据库sakila中的数据表加载数据，最后刷新数据库并查看数据库sakila中的数据表及数据表中的数据，若数据表中均含有数据则说明安装数据库sakila成功，否则说明安装不成功，需要重新解压安装。 需要注意的是，安装数据库sakila之前需要下载并安装MySQL关系型数据库，并且版本不可以低于5.0。

        3.2.数据库sakila简介
数据库sakila中一共含有十六张数据表，分别是actor（演员）表、address（地址）表、category（类别）表、city（城市）表、country（国家）表、customer（顾客）表、film（电影）表、film_actor（演员所属电影）表、film_category（电影所属的类别）表、film_text（电影描述）表、inventory（库存）表、language（语言）表、payment（付款）表、rental（租赁）表、staff（工作人员）表以及store（商店）表。

四.案例实现
        我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库，并命名为sakila_dw。数据仓库sakila_dw中的事实表fact_rental是根据数据库sakila中的数据表rental创建的；维度表是根据数据表sakila中数据表的分类创建的，即从人员、时间、地点以及事件四个角度进行创建数据仓库sakila_dw的维度表，具体如下： 从人员角度角度创建维度表dim_customer和维度表dim_staff，分别表示租赁业务中的客户和员工； 从时间角度创建维度表dim_date和维度表dim_time，用于记录所有DVD的租赁时间和归还时间； 从地点角度创建维度表dim_store，用于记录DVD光盘是从哪个商店租赁的； 从事件角度创建维度表dim_actor和维度表dim_film，其中维度表dim_actor用于记录演员的基本信息，维度表dim_film用于记录电影的基本信息。由于电影是租赁和归还的实际对象，因此维度表dim_film应与事实表fact_rental关联。一部电影是由多位演员出演，所以会有桥接表dim_film_actor_bridge，该表将电影与演员相关联。

       4.1加载日期数据至日期维度表
 通过Kettle工具加载日期数据至dim_date日期维度表。

（1）打开kettle创建转换

 

 

（2）配置控件

          生成记录控件：双击进入生成记录控件，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_code（国家码）、initial_date（初始化的日期），对生成的日期进行初始化，具体如图所示。

 增加 序列控件：双击“增加序列”控件，进入“增加序列”配置界面，并在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的日期，如图所示。

 JavaScript代码：双击“JavaScript”控件，进入“JavaScript”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码（代码见下方），如图所示。

 表输出控件： 双击进入表输出控件，连接好数据库，选择目标表为dim_date,具体如下

 目标表选好后，勾选指定数据库字段，点击下方数据库字段，单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，具体如下：

 3.保存运行

 部分数据

 

 4.2 加载时间数据至时间维度表

       （1）操作介绍

                通过Kettle工具加载时间数据至日期维度表dim_time。

        （2）打开kettle创建转换

 

（3）配置控件

           生成记录控件：双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息，如图所示。

 增加序列控件：双击“增加序列”控件，进入“增加序列”配置界面，将“值的名称”处将valuename改为hours24，即增加一列小时字段，由于时间是由时分秒构成，因此我们需要生成时分秒字段的数据，这里生成24小时数据，后续步骤中会生成60分和60秒的数据，如图所示。

 JavaScript代码控件：双击“JavaScript代码”控件，进入“JavaScript代码”界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。JavaScript代码控件的配置如图所示。

 生成记录2控件：双击“生成记录2”控件，进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据（60分钟从0分开始至59分结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图所示。

 增加序列2控件：双击“增加序列2”控件，进入“增加序列2”界面，将“值的名称”处将valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步“生成记录2”控件限制了条数），即生成数据为0-59，如图所示。

 生成记录3控件：双击“生成记录3”控件，进入“生成记录”界面，在“限制”后的文本框添加60，表示生成60条数据（即60秒钟从0秒开始至59秒结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图所示。

 增加序列3控件：双击“增加序列3”控件，进入“增加序列3”界面，将“值的名称”处将valuename改为minutes，即增加一列秒字段，用于记录秒数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步骤中“生成记录3”控件限制了条数），即生成数据为0-59，如图所示。

 

 

 记录关联（笛卡尔输出）控件

JavaScript代码2控件：双击“JavaScript代码2”控件，进入“JavaScript代码2”界面，勾选“兼容模式？”处的复选框，使得JavaScript代码2控件的兼容性更强；在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。JavaScript代码2控件的配置，如图所示。

 表输出控件：双击进入表输出控件，单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_time；勾选“指定数据库字段”的复选框，用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配，如图所示。

 映射匹配：勾选指定数据库字段，点击数据库字段，选择输入字段映射，进行映射匹配。

保存运行

 

 部分数据

 

 4.3 加载员工数据至员工维度表

          （1）操作介绍

                通过Kettle工具加载员工数据至员工维度表dim_staff。

          （2）打开kettle创建转换

 

3）配置控件

                表输入控件：双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据           库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。

 在SQL框中编写SQL语句，用于获取字段staff_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update；单击“预览”按钮，查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。

 表输入2控件 ：双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。

 在SQL框中编写SQL语句，用于获取sakila数据库中staff数据表中的最新数据，如图所示。

 字段选择控件：双击“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据仓库sakila_dw中字段staff_active的数据类型为char类型，因此，我们需要将数据表staff中字段active的数据类型改为String类型，如图所示。 

 

值映射控件：双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，这里是将Y替换成Yes，将N替换成No，如图所示。 

 维度查询/更新控件： 双击“维度查询/更新”控件，进入“维度查询/更新”界面，单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id，用于指定维度表字段和值映射控件流中字段的比较条件，若维度表中的数据有更新，则通过字段staff_id进行更新操作；在“字段”选项卡处添加查询/更新字段，用于更新目标维度表中的字段数据；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择staff_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through，如下图所示。

 保存运行

 通过navicat工具，查看数据表dim_staff是否已成功插入员工数据，查看结果如图所示。

 

 4.4加载用户数据至用户维度表

          （1）操作介绍

                 通过Kettle工具加载用户数据至用户维度表dim_customer。

          （2）打开kettle,建立转换

   转换1：

 转换2：

 

（3）转换2控件配置

映射输入规范控件：双击“映射输入规范”控件，进入“Mapping input specification”界面，并添加映射的字段“address_id”，该字段为传递的参数（由于转换load_dim_customer中表输入2控件流获取的字段address_id，用于查询用户的地址信息，而后续数据仓库的维度表 数据也需要用户的地址信息，因此这里将字段address_id作为传递的参数），添加完毕后单击【确定】按钮，完成“映射输入规范”控件的配置，如图所示。
 

 

 数据库查询控件：双击进入控件，单击名右侧的【浏览】按钮，添加数据表address； 在“查询所需的关键字”框中，添加查询所需的关键字字段address_id，由于该字段是唯一的，因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

 

 

 数据库查询2控件：双击进入控件，单击名右侧的【浏览】按钮，添加数据表address；在“查询所需的关键字”框中，添加查询所需的关键字字段address_id，由于该字段是唯一的，因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

 

 

数据库查询3控件：双击进入控件，单击表名处的【浏览】按钮，添加数据表country；在“查询所需的关键字”框中，添加查询所需的关键字字段country_id，用于指定字段流与表字 段的数据进行比较的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

 

 

过滤记录控件：双击“过滤记录”控件，进入“过滤记录”配置界面，在“条件”处设置过滤的条件，对有第二个地址的用户进行过滤操作；单击左边“”框，弹出字段对话框，选择要过滤的字段address2，如图所示。

 

JavaScript代码控件：双击“JavaScript代码”控件，进入“JavaScript代码”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码，如图所示。

 

 

字段选择控件：双击“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“移除”处添加要移除的字段，如图所示。

 

4）转换1控件配置

 表输入控件：双击进入控件，在SQL框中编写用于获取字段customer_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update；单击“预览”按钮，查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示

 

表输入2控件:双击进入控件配置界面，在SQL框中编写SQL语句，用于获取数据库 sakila中数据表customer中的最新数据，如图所示。

 

映射（子转换）控件：双击“映射”控件，进入“映射”界面，单击“映射转换”选项卡处的【浏览】按钮，选择添加转换2（我演示选择的文件实际就是转换2，只不过我的名字不是转换 2，用于获 取用户的地址信息，如图所示。

 

字段选择控件：双击步骤1中的“字段选择”控件，进入“选择/改名值”界面，在“元数据”选 项卡的“需要改变元数据的字段”处添加字段active，由于数据表customer中字段active的类型为tinyint，因此需要将字段active的类型改为String，与维度表dim_customer中字段customer_active的类型相对应，如图所示。

 

 

值映射控件：双击步骤1中的“值映射”控件，进入“值映射”界面，在“使用的字段名”处的 下拉框选择字段active；在“字段值”框中，添加源值和目标值，由于数据表customer中字段  active的值为1和0，对应的是Y和N，这里将Y替换成Yes，将N替换成No，如图所示。

 

 

维度查询/更新”控件 ：双击进入控件，单击目标表右侧的【浏览】按钮，选择输出的目 标表，即维度表dim_customer；在“关键字”选项卡处添加关键字字段customer_id，用于指定维度表字段和流字段的比较条件；在“字段”选项卡处添加查询/更新字段；在“代理关键字段”处的下拉框中选择customer_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择customer_version_number；在“Stream日期字段” 处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择customer_valid_from；在“截止日期字段”处的下拉框中选择customer_valid_through，如图所示。

 

 

 

 

 保存运行

 部分数据

 

4.5加载商店数据至商店维度表

          （1）操作介绍

                通过Kettle工具加载商店数据至商店维度表dim_store。

          （2）打开kettle,建立转换

 

（3）配置控件

 表输入控件：双击进入表输入控件，在SQL框中编写SQL语句，用于获取字段 store_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字max_dim_store_last_update；单击“预览”按钮，查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ，如图所示。

 

 

表输入2控件：双击进入表输入2控件，在SQL框中编写SQL语句，用于获取sakila数据库中store数据表中的最新数据，如图所示。

 

映射（子转换）控件：双击“映射”控件，进入“映射”界面，单击“映射转换”选项卡处的【浏览】按钮，选择添加转换2），用于获取用户的地址信息，如图所示。

 

数据库查询控件：双击进入控件配置界面，单击表名右侧的【浏览】按钮，添加staff数据表，用于查询商店员工的信息；在“查询所需的关键字”框中，添加查询所需的关键字staff_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即员工姓名如图所示。

 

 

维度查询/更新控件：单击【浏览】按钮，选择输出的目标表，即维度表dim_store；在“关键字”选项卡处添加关键字字段store_id，用于指定维度表字段和流字段的比较条件；在“字 段”选项卡处添加查询/更新字段，用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段，；在“代理关键字段”处的下拉框中选择store_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择store_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择store_valid_from；在“截止日期字段”处的下拉框中选择store_valid_through，如图所示。

 

 

 

 

 

 保存运行

 数据库中数据

 

4.6 加载演员数据至演员维度表

          （1）操作介绍

通过Kettle工具加载演员数据至演员维度表dim_actor。

         （2）打开kettle,建立如下转换

 

（3）配置控件

表输入控件：双击进入控件，在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。

 

 

表输入2控件：双击进入表输入2控件，在SQL框中编写SQL语句，用于获取数据库sakila中数据表actor中的最新数据，如图所示。 

 

插入/更新控件：单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标 表，即维度表dim_actor，单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段；单击【获取和更新字段】按钮，用来指定需要更新的字段，如图所示。

 

 保存运行