kettle实验七：去除重复的数据

【实验目的】
1.熟练掌握“去除重复记录”，“排序记录”，“文本文件输入”等组件的使用，实现去除重复数据。
2.熟练掌握“去除重复记录”，“排序记录”，“文本文件输入”等组件的使用，实现去除重复数据。

【实验原理】
通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序，然后通过“记录集连接”进行多表连接，再通过“字段选择”选择合适的字段输出到表格。

【实验环境】
操作系统：Windows10 
Kettle版本：7.1.0.0
jdk版本：1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。（1）点击新建按钮，在下拉菜单中点击选择“转换”即可创建；（2）然后点击“保存”重命名该转换文件，保存在某个指定的路径；（3）选择输入步骤、输出步骤和跳。

二、各组件的配置

1.“Excel输入”的配置
Step1：双击‘Excel输入’组件，配置‘文件’选项卡,设置文件输入流类型和路径

Step2：配置‘工作表’选项卡，设置输入文件读取的起始行 和起始列

Step3：配置‘字段’选项卡，获取输入数据的字段，并设置数据类型

2.“排序记录”的配置：
双击“排序记录”组件，根据输入的数据设置以‘课程名称’字段排序。

3.“去除重复记录”的配置：
双击‘去除重复记录’组件，选取‘用来比较的字段’，这里从输入数据的某一字段挑选

4.“排序记录2”配置
双击“排序记录2”配置，根据之前排序得到的结果，在这里通过编号再次排序，为输出准备。

5.“Microsoft Excel 输出”的配置
Step1：配置‘文件&工作表’选项卡，获取输出文件的路径和类型

Step2：配置‘内容’选项卡，获取输出数据的字段名称和类型

三、执行转换：

点击按钮，执行转换，结果如下：

四、实验结果:

输入文件‘课程信息表07.xlsx’：

输出文件‘test6.xlsx’：

五、实验总结：

本次实验的目的主要是“去除重复记录”和“排序记录”组件的使用，并理解其背后的对实验目的原理，本次实验较为简单，暂时未遇到困难。

附 件：