6.2 不一致数据的转换

案例介绍:

通过Kettle工具将对数据表company进行不一致数据的转换操作,即通过与供货商提供的标准价格表进行比较,得出不一致数据,从而进行修改,最终输出到数据表company中。

案例实现:

数据准备

A公司和B公司销售的手机均从同一个供货商手里采购,因此,同一品牌型号的手机,售价也应相同。但是,数据表company中存在同一品牌型号的手机,售价却不同。如id为14,18的这两条数据价格字段(unitPrice)与id为20的数据的价格字段不同。

6.2 不一致数据的转换_第1张图片1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换inconsistent,并添加表输入控件、字段选择控件、记录集连接控件、插入/更新控件以及Hop跳连接线,具体如图所示。

6.2 不一致数据的转换_第2张图片2.配置表输入控件

双击“表输入”控件,进入“表输入”配置界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。

6.2 不一致数据的转换_第3张图片在SQL框中编写查询数据表company中品牌型号不一致数据的 SQL语句,然后单击【预览】按钮,查看数据表company中品牌型号不一致数据是否成功从MySQL数据库中抽取到表输入流中,具体如图所示。

6.2 不一致数据的转换_第4张图片

6.2 不一致数据的转换_第5张图片3.配置表输入2控件

双击“表输入2”控件,进入“表输入”配置界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。

6.2 不一致数据的转换_第6张图片在SQL框中编写SQL语句,查询出不一致数据在数据表suppliers中的全部信息;在“从步骤插入数据”的下拉框选择“表输入”步骤;勾选“执行每一行”处的复选框,用于将表输入控件流中的数据放入到SQL语句对应的参数位置,通过条件查询与数据表suppliers中的数据进行匹配,具体配置如图所示。

6.2 不一致数据的转换_第7张图片

4.配置字段选择控件

双击“字段选择”控件,进入“选择/改名值”界面,并在“选择和修改”选项卡的“字段”处添加表输入2控件流中的所有数据字段,并将字段unitPrice改名成unitPrice1,具体如图所示。

6.2 不一致数据的转换_第8张图片

选择“移除”选项卡,切换到“移除”选项卡界面,添加需要移除字段,这里添加的是字段id,由于后续操作不需要字段id,因此在此进行移除,具体如图所示。

6.2 不一致数据的转换_第9张图片

5.配置表输入3控件

双击“表输入3”控件,进入“表输入”配置界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。

6.2 不一致数据的转换_第10张图片在SQL框中编写查询与标准价格表(供货商提供的价格表)中品牌型号不一致数据的SQL语句,然后单击【预览】按钮,查看数据表company中品牌型号不一致数据是否成功从MySQL数据库中抽取到表输入流中,具体如图所示。

6.2 不一致数据的转换_第11张图片

6.2 不一致数据的转换_第12张图片6.配置记录集连接控件

双击“记录集连接”控件,进入“合并排序”界面。在“第一个步骤”处的下拉框中选择“字段选择”控件,“第二个步骤”处的下拉框中选择“表输入3”控件,用于将“字段选择”控件流中的数据与“表输入3”控件流中的数据进行合并连接;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是brand、model,用于将“字段选择”控件流中的字段brand、model与“表输入3”控件流中的字段brand、model进行连接;在“连接类型”处的下拉框选择连接类型,这里选择的RIGHT OUTER,即右外连接,具体如图所示。

6.2 不一致数据的转换_第13张图片

7.配置字段选择2控件

双击“字段选择2”控件,进入“选择/改名值”界面,并在“选择和修改”选项卡的字段名称处填写id和unitPrice1,用于在插入/更新控件中,通过唯一字段id修改对应的价格unitPrice1字段内容,具体如图所示。

6.2 不一致数据的转换_第14张图片8.配置插入/更新控件

双击“插入/更新”控件,进入“插入/更新”配置界面。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。

6.2 不一致数据的转换_第15张图片单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表company;单击【获取字段】按钮,用来指定查询数据所需要的关键字,也可通过手动输入,指定查询数据所需要的关键字,这里选择的是数据表company中的id字段和输入流里面的id字段;单击【获取和更新字段】按钮,用来指定需要更新的字,具体如图所示。

6.2 不一致数据的转换_第16张图片

9.运行inconsistent转换

单击转换工作区顶部的运行按钮,运行创建的转换inconsistent,实现将数据表company中品牌型号相同、价格不同的不一致数据修改成品牌型号价格均相同的一致数据,具体如图所示。

6.2 不一致数据的转换_第17张图片

10.运行inconsistent转换

通过SQLyog工具,查看数据表company是否已成功将数据表company中品牌型号相同、价格不同的数据修改成品牌型号价格均相同的数据,查看结果如图所示(只展示部分数据)。

6.2 不一致数据的转换_第18张图片

 

 

你可能感兴趣的:(kettle数据清洗案例,数据库)