数据去重（完全去重和不完全去重）

主要功能描述（实现的内容）：

  数据去重指的是找到数据文件集合中重复的数据并将其删除，只保存唯一的数据单元，从而消除冗余数据。数据去重包括完全去重和不完全去重。完全去重指的是消除完全重复的数据，完全重复的数据指的是数据表记录字段值完全一样的数据。不完全去重指的是在数据清洗中，所有字段值都相等的重复值是一定要剔除的。

一、完全去重：

1.数据准备与查看数据

 

 2.在Kettle新建转换，添加“CSV文件输入”控件和“唯一行（哈希值）”控件以及Hop跳连线

 

3.配置“CSV文件输入”控件

1. .双击“CSV文件输入”控件，进入“CSV文件输入”界面

 

（2）.点击“浏览”按钮，选择要进行完全去重处理的CSV数据merge.csv 

 

（3）、 单击“获取字段”按钮，Kettle会自行检索CSV文件。并对文件中的字段类型、格式、长度、精度等属性进行分析

 

（4）.单击“浏览”按钮，查看CSV文件marge.csv的数据是否加载到CSV文件输入流中 

 

4.配置“唯一行（哈希值）”控件

（1）.点击“唯一行（哈希值）”控件，进入“唯一值（哈希值）”控件界面

 

1. 在“用来比较的字段”处添加要去重的字段，可以单击获取按钮，添加需要去重的字段，然后点击确定。

 

 3.运行转换

 

4、查看数据

 

 

二、不完全去重：

1.数据准备与查看数据

（2）在Kettle新建转换，添加“文本文件输入”控件和“唯一值（哈希值）”控件以及Hop跳连线

 

1. 配置“文本文件输入”控件

（1）.双击“文本文件输入”控件，进入“文本文件输入”控件界面

 

 （2）单击“浏览”按钮，选择要去重的文件people.text

 （3）单击“增加”按钮，将要去重的文件people.text添加到转换中 

 

（4） 单击“内容”选项卡，切换到“内容”选项卡界面

（5）清除分隔符处的默认分隔符“；”，单击Insert TAB按钮，在分隔符处插入一个制表符；取消头部复选框

 

（6）单击“字段”选项卡，切换到“字段”选项卡界面

 

（7）根据文件people.text的内容添加字段名称，并指定数据类型,在“去除空字符串方式”列时，所添加的字段都应该选择“不去掉空格”

（8）单击“浏览记录”按钮，查看people.text的数据是否成功抽取到文本文件输入流中 

 

4、配置“唯一行（哈希值）”控件

（1）、双击“唯一行（哈希值）”控件，进入“唯一行（哈希值）”界面

 

（2）“用来比较的字段”处添加要比较去重的字段，然后点击确定

5、运行转换

 

6.查看数据