《数据清洗》第七章操作题

---

前言

数据的加载机制与数据的抽取机制相类似，数据的加载机制可以分为全量加载和增量加载。其中，全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。

一、全量加载

假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。数据表full_source和full_target的内容如图所示。

CREATE TABLE `full_source` (
	`no` INT (10),
	`book_name` VARCHAR (60),
	`author` VARCHAR (30),
	`tag` VARCHAR (60)
); 
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('1','小王子','圣艾克苏佩里','外国文学');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('2','解忧杂货店','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('3','白夜行','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('4','梦里花落知多少','郭敬明','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('5','看见','柴静','随笔');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('6','围城','钱钟书','小说');

create table `full_target` (
	`no` int (10),
	`book_name` varchar (60),
	`author` varchar (30),
	`tag` varchar (60)
); 
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('1','小王子','圣艾克苏佩里','外国文学');
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('2','解忧杂货店','东野圭吾','小说');
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('5','看见','柴静','随笔');

1、打开kettle工具，创建转换
使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图所示。

2、配置执行SQL脚本控件
双击“执行SQL脚本”控件，进入“执行SQL语句”界面，具体如图所示。单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

MySQL数据库连接的配置；在SQL框中编写删除数据表full_target中数据的SQL语句，如图所示。

	delete from full_target

3、配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，在SQL框中编写查询full_source数据表的SQL语句（单击获取SQL查询语句），如图所示。

单击【预览】按钮，查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中，如图所示。

4、配置表输出控件
双击“表输出”控件，进入“表输出”配置界面；单击目标表处的【浏览】按钮，选择输出的目标表，即数据表full_target，这里不需要新建数据库连接，只需要选择已创建的数据库连接即可，如图所示。

5、运行转换full_load
单击转换工作区顶部的 按钮，运行创建的转换full_load，实现将数据表full_source中的数据全量加载到数据表full_target中，如图所示。

通过SQLyog工具，查看数据表full_target是否已成功加载到数据，查看结果如图所示。（注：这并不是刚开始创建的，而是经过一系列操作来的）

二、增量加载

假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的，具体如图所示。

CREATE TABLE `incremental_source` (
	`id` INT (20),
	`name` VARCHAR (60),
	`age` INT (20),
	`create_time` DATETIME 
); 
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('1','Isabella','18','2019-08-20 13:14:20');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('2','Jack','20','2019-08-21 13:14:21');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('3','Nicholas','22','2019-08-20 13:14:22');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('4','Jasmine','19','2019-08-20 13:14:23');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('5','Mia','20','2019-08-20 13:14:24');

CREATE TABLE `incremental_target` (
	`id` INT (20),
	`name` VARCHAR (60),
	`age` INT (20),
	`create_time` DATETIME 
); 
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('1','Isabella','18','2019-08-20 13:14:20');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('2','Jack','20','2019-08-21 13:14:21');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('3','Nicholas','22','2019-08-20 13:14:22');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('4','Jasmine','19','2019-08-20 13:14:23');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('5','Mia','20','2019-08-20 13:14:24');

1、打开kettle工具，创建转换
使用Kettle工具，创建一个转换incremental_load，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。

2、配置表输入控件
双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。

在SQL框中编写查询数据表incremental_source的SQL语句，然后单击【预览】按钮，查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中，具体如图所示。

3、配置插入/更新控件
双击“插入/更新”控件，进入“插入/更新”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。

单击目标表处的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表incremental_target，具体如图所示。

单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里通过比较数据表incremental_target的字段id与输入流里的字段id是否一致为关键条件，更新数据表中的其它字段数据；单击【获取和更新字段】按钮，用来指定需要更新的字段，具体如图所示。

4、修改数据表incremental_source中的数据
在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据；对数据表incremental_source中id为2的数据进行修改，即将这条数据的年龄（age）改为25。修改后的数据表incremental_source中的数据内容如图所示。

5、运行转换increment_load
单击转换工作区顶部的运行按钮，运行创建的转换incremental_load，实现将数据表incremental_source中的数据增量加载到数据表incremental_target中，如图所示。

6、查看数据表incremental_target中的数据
通过SQLyog工具，查看数据表incremental_target是否已成功加载到数据，查看结果如图所示。（这并不是刚开始创建的，而是经过一系列操作来的）

总结

以上就是这次的操作