dplyr 1.0.0 之 列操作

dplyr 1.0.0 之 列操作

加载包

library(tidyverse)

多列进行同样的操作

比如:对数据 df 中的 a、b、c、d 列都取他们的平均值：

df %>% 
  group_by(g1, g2) %>% 
  summarise(a = mean(a), b = mean(b), c = mean(c), d = mean(c))

通过本节我们将会学到用函数 across() 简化命令

df %>%
  group_by(g1, g1) %>%
  summarise(across(a:d), mean)

本节我们将讨论 across() 函数的几个用法，特别是结合函数 summarise() 来连用，展示为什么我们后面要使用 across() 而不使用以前的 _if()、_at()、_all() 系列变体函数。

across() 函数简介：

• 第一个参数，选择你所想要操作的列（类似于 select() 函数），我们可以通过位置、名字、数据类型来选择。
• 第二个参数，.fns 就是要对列进行的操作函数，可以类似 purrr 中的公式，比如：~ .x/2

across() 函数与 summarise() 函数连用示例：

# 选择字符串列进行统计长度信息
starwars %>%
  summarise(across(where(is.character), ~length(unique(.x))))

# 选取指定列，求长度信息
starwars %>%
  group_by(species) %>%
  filter(n() > 1) %>%
  summarise(across(c(sex, gender, homeworld), ~ length(unique(.x))))

# 选取数值列，进行求均值
starwars %>%
  group_by(homeworld) %>%
  filter(n() > 1) %>%
  summarise(across(where(is.numeric), ~ mean(.x, na.rm = T)))

df <- data.frame(g = c(1, 1, 2), x = c(-1, 1, 3), y = c(-1, -4, -9))
df %>%
  group_by(g) %>%
  summarise(across(where(is.numeric), sum))

对列使用多个函数处理

• glue：控制输出名

min_max <- list(
  min = ~min(.x, na.rm = T),
  max = ~max(.x, na.rm = T)
)

starwars %>%
  summarise(across(where(is.numeric), min_max))

# 怎么控制输出结果列名呢？
# 使用 glue 包
# {fn} 表示使用的函数名，{col} 表示操作的列名
starwars %>%
  summarise(across(where(is.numeric), min_max, .names = "{fn}.{col}"))

# 如果我们想要将同样函数处理的数据放置于一起，我们就需要将函数分开
# 我们可以看到结果是很奇怪的。
starwars %>%
  summarise(across(where(is.numeric), ~min(.x, na.rm = T), .names = "min.{col}"),
            across(where(is.numeric), ~max(.x, na.rm = T), .names = "max.{col}"))

Current column：

• cur_column()

df <- tibble(x = 1:3, y = 3:5, z = 5:7)
mult <- list(x = 1, y = 10, z = 100)

df %>%
  mutate(across(all_of(names(mult)), ~.x*mult[[cur_column()]]))

Gotchas：陷阱，踩坑

• across 在结合 summarise() 函数使用时候，会自动将前面所计算的函数：比如 n() 考虑在内，会覆盖 n() 结果。

df <- data.frame(x = c(1, 2, 3), y = c(1, 4, 9))
df %>%
  summarise(n = n(), across(where(is.numeric), sd))

# 可看到这里 n() 统计结果为 NA，因为 n 为一个数值，所以后面 across() 计算了他的 sd 值，3 的 sd 值为 NA，如果我们想解决这一个问题，我们就需要将 n() 统计放置于 across() 函数处理之后
df %>%
  summarise(across(where(is.numeric), sd), n = n())

# 还有另外一种方法，即在 across() 函数中加上一个条件 !n
df %>%
  summarise(n = n(), across(where(is.numeric) & !n, sd))

其他操作：

- across() 与 mutate() 连用

将所有数值变量 rescale 到 0-1：

rescale01 <- function(x){
  rng <- range(x, na.rm = T)
  (x - rng[1])/(rng[2] - rng[1])
}

df <- tibble(x = 1:4, y = rnorm(4))

df %>%
  mutate(across(where(is.numeric), rescale01))

- across() 与 filter() 函数连用

查找所有没有缺失值 NA 的列

starwars %>%
  filter(across(everything(), ~ !is.na(.x)))

- across() 与 distinct() 函数连用

starwars %>%
  distinct(across(contains("color")))

- across() 与 count() 函数连用

starwars %>%
  count(across(contains("color")), sort = TRUE)

注意：across() 函数不能与 select() 、rename() 函数连用，因为他们已经使用了选择的语法，我们如果想要使用函数来改变列名那么就需要使用函数 rename_with()


之前版本 dplyr 使用了一些列后缀名为 _if、_at、_all 的变体函数，这些函数当时也带来了一定的方便性，被广泛使用，虽然不会被弃用，但是现在已经被 across() 取代

为什么我们要使用 across()

• 
  
  1. across() 函数可以很方便的同时对列进行多个操作

df %>%
  group_by(g1, g2) %>% 
  summarise(
    across(where(is.numeric), mean), 
    across(where(is.factor), nlevels),
    n = n(), 
  )

• 
  
  1. across() 函数减少了 dplyr 所需要提供的函数数目。使得 dplyr 用起来更加方便以及更加通俗易懂
• 
  
  1. across() 整合了之前后缀为 _if、_at 等函数的功能，使我们能够按照位置、列名、列数据类型来筛选数据

across(where(is.numeric) & starts_with("x"))

• 
  
  1. across() 不需要 vars() 函数，_at() 函数是 dplyr 中唯一必须手动引用变量名的地方。

怎么转换我们之前基于 _at、_if 等后缀的函数处理为 across()

• 去掉 _at、 _if、 _all 后缀
• 变为 across()
  • _if 系列则改为 where()
  • _at() 系列则去掉 vars 函数即可
  • _all() 系列则改为 everything()
    
    示例:

df %>% mutate_if(is.numeric, mean, na.rm = TRUE)
# ->
df %>% mutate(across(where(is.numeric), mean, na.rm = TRUE))

df %>% mutate_at(vars(c(x, starts_with("y"))), mean)
# ->
df %>% mutate(across(c(x, starts_with("y")), mean, na.rm = TRUE))

df %>% mutate_all(mean)
# ->
df %>% mutate(across(everything(), mean))

以下情况可能不适用:

• rename_*() 和 select_*() 遵循不一样的规则，由于这已经是选择函数了，通常通过其他方法实现，而不是直接用 across() 函数，比如使用 rename_with()
• 之前，filter() 函数与 all_vars() 和 any_vars() 连用，但是现在 all_vars() 已经被 across() 函数取代，但是并不是完全等价，我们可以自定义一些小函数

df <- tibble(x = c("a", "b"), y = c(1, 1), z = c(-1, 1))

# 筛选所有值都大于 0 的行
df %>% filter(across(where(is.numeric), ~ .x > 0))

# 筛选任意有一个值大于 0 的行
rowAny <- function(x) rowSums(x) > 0
df %>% filter(rowAny(across(where(is.numeric), ~ .x > 0)))

• mutate() 中 mutate_all 与 across() 不大一样，前者只执行参数部分，后者执行的所有转换都将同时应用，across() 函数表示的是选择的所有列。

df <- tibble(x = 2, y = 4, z = 8)
df %>% mutate_all(~ .x / y)
# ->
# 所有的列都除以了 y 列的值，包括 y 本身
df %>% mutate(across(everything(), ~ .x / y))