识别并删除R中的重复数据

本教程介绍如何识别和删除R中的重复数据。

您将学习如何使用以下R base和dplyr函数：

1）R基础函数

duplicated（）：用于标识重复的元素和

unique（）：用于提取唯一元素，

2）distinct（）[dplyr package]删除数据框中的重复行。

必需的包

演示数据集

查找并删除重复元素

提取独特元素

删除数据框中的重复行

总结

---

需要的包

library(tidyverse)

示例数据集

我们将使用R内置的iris数据集，首先将其转换为tibble数据帧(tbl_df)，以便于进行数据分析。

my_data <- as_tibble(iris)

my_data

查找并删除重复的元素

R函数 duplicate() 返回一个逻辑向量，其中TRUE指定向量或数据帧的哪些元素是重复的。

创建如下向量:

x <- c(1,1,4,5,4,6)

要查找x中重复元素的位置，请使用以下命令:

duplicated(x)

## [1] FALSE  TRUE FALSE FALSE  TRUE FALSE

提取重复元素:

x[duplicated(x)]

## [1] 1 4

如果您想删除重复的元素，请使用  !duplicate()，!意思是逻辑否定:

x[!duplicated(x)]

## [1] 1 4 5 6

按照这种方法，可以根据列值从数据框中删除重复的行，如下所示

# Remove duplicates based on Sepal.Width columnsmy_data[!duplicated(my_data$Sepal.Width), ]

提取非重复的元素

x <- c(1,1,4,5,4,6)

unique(x)

## [1] 1 4 5 6

也可以在数据框上应用unique()，以删除重复的行，如下所示:

unique(my_data)

删除数据帧中的重复行

distinct() [dplyr包]函数可用于仅保留数据帧中的唯一/不同行。如果有重复的行，则只保留第一行。它是R基函数unique()的变形。

基于所有列，删除重复行

my_data %>% distinct()

基于某些列(变量)，删除重复的行:

# Remove duplicated rows based on Sepal.Length

my_data %>% distinct(Sepal.Length, .keep_all =TRUE)

# Remove duplicated rows based on # Sepal.Length and Petal.Widthmy_data %>% distinct(Sepal.Length, Petal.Width, .keep_all =TRUE)

参数 .kep_all用于保存数据中的所有变量。

总结

在本章中，我们描述了识别和删除重复数据的重要函数：

基于一个或多个列值删除重复行：my_data%>%dplyr::distinct（Sepal.Length）

从向量和数据框中提取唯一元素的R基函数：unique（my_data）

确定重复元素的R基函数：duplicate（my_data）