ETL - 实战 Kettle 第三讲

前(fei)言(hua)

在填充数据的时候，如果是测试数据，我们会经常发现有重复数据，这时候我们可以在表输入中，使用 distinct 语句去重，但是如果几行重复数据中，有一些诸如创建时间、更新时间等无关字段不同时，语句去重就达不到目的，这时候，我们就可以用PDI提供的去除重复记录步骤来实现，它的方便不在于能去除重复行数据，甚至可以去重指定字段，你只需在需要去重的步骤后添加即可。

1. 搜索步骤去除重复记录，拖放到表输入和记录集连接间，当连接线变粗时，如下，系统会提示：
   
2. 拆分节点后，双击步骤编辑，添加要对比的字段：
   
3. 点击确定，会提示：
   
4. 在表输入SQL语句中根据字段排序，这里需要先排序id，否则关联时无法按序关联：
   
5. 完成连接后的转换如图所示：
   
   最后点击运行，成功转换。kettle 还提供了许多实用的功能，大家可以按实际情况取用，现在让我们进入下一章，收尾工作。