数据导入与预处理-第7章-数据清理工具OpenRefine

数据清理工具OpenRefine

OpenRefine简介

OpenRefine是一款免费开源、清理数据的强大工具，它可以帮助用户在使用数据之前完成清理工作，并通过浏览器运行的界面直观地展现对数据的相关操作，对于编程能力薄弱的用户而言是一个不错选择。

OpenRefine是一款由Java开发的可视化工具，用户可以在操作界面上直接对数据进行数据清理和格式转换，它支持Windows、Linux和macOS系统，并且提供英文、中文和日文等多种语言，可以在用户缺乏专业编程技术的背景下快速地清理数据。

下载与安装

下载安装包
openrefine-3.7.2.zip

解压后如下：

单击“openrefine.exe”启动OpenRefine工具，若当前计算机中没有配置Java环境，则会在默认浏览器中打开“下载适用于Windows的Java”页面，如果已经安装，会弹出如下图所示界面。

配置

为保证读者后续能顺畅且便捷地使用OpenRefine工具，在使用OpenRefine工具操作之前，需要对其进行一些基本配置：语言设定和增加内存，其中增加内存可以避免后续操作时出现因数据集庞大而无法导入的问题。

语言设定

增加内存
OpenRefine在Windows系统中默认分配1G内存空间，若处理的数据需要使用更大的内存空间，则可以通过配置文件增加OpenRefine所使用的内存空间。
通过修改openrefine.l4j.ini文件的配置项可以给OpenRefine工具增加内存空间。

若使用2GB或更高的内存，需要将当前配置的Java环境版本升级至64位版本，否则会在编辑openrefine.l4j.ini文件后无法启动OpenRefine工具

创建项目

值得一提的是，OpenRefine工具默认显示前10行数据，大家可通过单击页面上方“显示”选项后面的数字（5、10、25、50），来指定显示的行数。

操作列

常见的操作包括
收起列、
移动列和重排列、
移除该列和移除列、
重命名列

收起列

收起该列后，会出现一个空白列，单击空白列即可恢复name2列

移动列和重排列

OpenRefine工具既支持一次移动单个列，也支持一次移动多个列，以达到重排数据列的目的。 OpenRefine工具支持4种移动列的方式，分别为“列移至开始”“列移至末尾”“左移列”和“右移列”。

右移后

重排/移动列

选择重拍/移除列后如下

窗口左侧按顺序显示了所有列的标题，大家可通过拖曳列标题至相应的位置来重排列。

选择确定后，如下（如果没有出现，可能是name2列处于收起状态）

移除该列与移除列

OpenRefine工具中

移除该列是对当前指定的单个列进行移除；
移除列是对不需要的列进行批量移除。

当前项目中不存在标题为“gender”的列。

移除列

选择移除的列

点击确定，如下

当前项目中不存在标题为“name2”和“nation”的列。

重新定义列标题

如果列标题不能清晰明了地传递该列数据所代表的含义，可通过重命名列来重新定义列标题。

撤销与重做

导出数据

虽然OpenRefine项目支持移动、移除和重命名列操作，但是这些操作不会修改原始数据，之所以出现这种情况是因为OpenRefine会拷贝原始数据，若希望列操作在原始数据中生效，则需要将修改后的数据执行导出操作。

OpenRefine工具支持将数据导出为项目、 HTML表格、Excel文件、ODF电子表格等。需要说明的是，“导出项目”选项会将项目导出为openrefine.tar.gz格式的压缩包。

需要说明的是，后续章节仍会以Athletes_info项目为例演示操作步骤，为保证该项目中数据的完整性，这里将撤销对Athletes_info项目所有的操作。

进阶操作

数据排序

数据排序是一种常见的数据清理操作，它主要是按照指定方式排列数据，这样不仅可以对数据进行检查和纠错，还可以通过浏览排序后的数据查看数据的特征或趋势，从而找到解决问题的线索。

数据归类

数据归类是OpenRefine工具中常见的功能之一，它主要用于从数据中获得一个变化的子集，方便用户从多个角度查看数据，并且不会改变数据本身。OpenRefine工具支持多种归类操作，包括文本归类、数值归类、时间线归类、散点图归类以及自定义归类。

文本归类用于将特定文本值进行分类归组。打开Athletes_info项目中event列的下拉菜单，在下拉菜单中选择【归类】→【文本归类】，页面左侧会打开显示归类后结果的“归类/过滤器” 。

数值归类

自定义归类

重复检测

如果希望删除name列的重复值，那么需要先对包含重复值的数据进行排序，再删除按复数归类后值为true的结果。

OpenRefine工具中的重复检测功能只适用于文本类型的数据。

数据填充

数据填充是使用指定的字符或数字对空缺位置进行填充，其目的是保证数据的完整性。

文本过滤

文本过滤用于快速匹配某个特定的字符串。

数据转换

数据转换功能，能够根据需求将一列数据转换为指定的类型

常用转换包括移除首尾空白、收起连续空白、首字母大写、全大写、全小写、文本化等功能。

需要说明的是，在编写Python语言的表达式时，需要保证表达式中必须有return语句。

总结

本文主要介绍了数据清理工具OpenRefine的简介，安装，创建项目等基本操作，并提供了操作列和进阶操作等步骤。