【R语言 数据处理】dplyr 包的强大之处
R语言中的有一个数据处理的强大的包，它就是 dplyr 包，dplyr包 像操作数据库一样操作 R，方便，轻松，快捷。
主要内容
- 1、选择数据表的列: select, rename
- 2、select 只会选择你指定的列
- 3、rename 则会改变列名, 并选择其他所有的列
- 4、选择数据表的行: filter
- 5、改变数据表的列: mutate, transmute
- 6、mutate 会保留改变前和改变后的列
- 7、transmute 则只会保留改变后的列, 而扔掉改变前的列
- 8、通过 group_by 和 summarize 函数可以把数据进行分组进行分析
选取数据
在 SQL 数据库中, 我们做任何的操作首先需要选择数据, 在 R 中同样也是.
例如我们还拿 iris 的数据来做例子. iris 数据长下面这样:
head(iris)
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1 5.1 3.5 1.4 0.2 setosa
# 2 4.9 3.0 1.4 0.2 setosa
# 3 4.7 3.2 1.3 0.2 setosa 如果我们想要选择 Species 列的数据. 在 R 中可以用 data.frame 的选择数据的方法.
iris$Species
iris[['Species']]
iris[, 'Species']那么假如 iris 是 SQL 数据库中的一个表呢? 我们大概有以下的办法:
SELECT Species FROM iris;dplyr 中提供了 select 函数具有和 SQL 语法逻辑类似的函数 select.
select(iris, Species)还可以使用很有特色的 %>% 导管运算符.
iris %>% select(Species)我们可以知道 Species 列中所包含的物种种加词有如下几个:
table(iris %>% select(Species))
# setosa versicolor virginica
# 50 50 50下面我们想要只选择 setosa 物种的数据.
使用 R 默认方法我们会如下做.
setosa <- iris[iris$Species == 'setosa', ]如果使用 SQL 去选择, 我们可能会写下如下类似的代码.
SELECT * FROM iris WHERE Species = 'setosa';利用 dplyr 的 select 函数我们会有如下的代码.
iris %>% select(everything()) %>% filter(Species == 'setosa')
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1 5.1 3.5 1.4 0.2 setosa
# 2 4.9 3.0 1.4 0.2 setosa
# 3 4.7 3.2 1.3 0.2 setosa这里 select 实际上没有起到任何作用, 但是显示出来如果我们要进行多步骤的操作, %>% 运算符会让代码很清晰简介.
如果我们没有使用 %>% 则会有下面的代码.
filter(select(iris, everything()), Species == 'setosa')这样看起来代码就多了好多层, 不如一层清晰.
那么, 我们且用起来 select 函数, 假如我们只需要 setosa 花瓣的信息, 我们可以这么做.
iris %>% select(Species, starts_with('Petal')) \
%>% filter(Species == 'setosa')
# Species Petal.Length Petal.Width
# 1 setosa 1.4 0.2
# 2 setosa 1.4 0.2
# 3 setosa 1.3 0.2又如果, 我们先要看 setosa 所有特征的宽度, 我们可以这么做.
iris %>% select(Species, ends_with('Width')) \
%>% filter(Species == 'setosa')
# Species Sepal.Width Petal.Width
# 1 setosa 3.5 0.2
# 2 setosa 3.0 0.2
# 3 setosa 3.2 0.2我们也可以使用 select 对列进行重命名, 相当于 SQL 的 AS.
SQL 中代码类似如下:
SELECT Species AS sp.name FROM iris;select 函数的代码可以如下写.
iris %>% select(sp.name = Species)
# sp.name
# 1 setosa
# 2 setosa
# 3 setosa这里需要注意的是, 我们使用 select 函数则在结果中只会保留选择的列.
如果我们只是需要对特定列进行重命名, 而需要保留原来其他的列, 则可以使用 rename 函数.
iris %>% rename(sp.name = Species)
# Sepal.Length Sepal.Width Petal.Length Petal.Width sp.name
# 1 5.1 3.5 1.4 0.2 setosa
# 2 4.9 3.0 1.4 0.2 setosa
# 3 4.7 3.2 1.3 0.2 setosa上面我们看到了 everything 等函数, 还有如下函数在 select 函数中使用.
- starts_with(match, ignore.case = TRUE, vars = current_vars()):
列名以前缀开始; - ends_with(match, ignore.case = TRUE, vars = current_vars()): 列名以后缀结束;
- contains(match, ignore.case = TRUE, vars = current_vars()):
列名中包含指定字符串; - matches(match, ignore.case = TRUE, vars = current_vars()): 列名匹配正则表达式;
- num_range(prefix, range, width = NULL, vars = current_vars()): prefix
接受一个前缀, range 接受数字序列; - one_of(…, vars = current_vars()): 列名包含在其中;
- everything(vars = current_vars()): 所有的列名.
改变列值
有的时候, 当前的列值并不满足我们的使用, 我们需要对当前列的值进行处理,例如求 log, 绝对值等, 也可能对多列同时进行处理获得对应的值来进行下游的分析. 这种情况下我们可以使用 dplyr 中的 mutate 函数和 transmutate 函数. 这两个函数的区别在于, mutate 函数会保留修改后的列和修改之前的列, 而 transmute 函数则会保留修改后的列而丢弃修改之前的列.
例如, 我们要求鸢尾花的萼片和花瓣的 “面积”, 可以假设是椭圆形.
iris %>% mutate(
Sepal.area = pi * Sepal.Length * Sepal.Width
) %>% select(Species, starts_with('Sepal'))
# Species Sepal.Length Sepal.Width Sepal.area
# 1 setosa 5.1 3.5 56.07743
# 2 setosa 4.9 3.0 46.18141
# 3 setosa 4.7 3.2 47.24955
iris %>% transmute(
Sepal.area = pi * Sepal.Length * Sepal.Width
)
# Sepal.area
# 56.07743
# 46.18141
# 47.24955可以用于 mutate 和 transmute 函数还有许多辅助函数, 有些是 base 包中的常规函数, 有些是 dplyr 包中的提供的函数.
log(), log2(), log10(): 对值求 log;
lead(), lag(): 返回序列中当前位置前第几个值或后第几个值;
row_number(): 结果等于 rank(ties.method = "first"), 即对于相同的数值的排名按照先后顺序排;
min_rank(): 结果等于 `rank(ties.method = "min"), 即对于相同的数值的排名都取最小的排名;
dense_rank(): 结果类似于 min_rank(), 差别在于填充了由于 min_rank 造成的排名空隙;
percent_rank(): 把 min_rank() 的值转换为 0 到 1 区间;
cume_dist(): 计算比当前值还小的值的比例, 相当于计算 density;
ntile(): 把数据分成若干块, 看每个数据在具体拿一个块;
cumsum(), cummean(), cummin(), cummax(), cumany(), cumall(): 累积地 (cumulative) 计算和 (sum), 均值 (mean), 最小值 (min), 最大值 (max), 任何为真 (any), 所有为真 (all);
na_if(): 把特定地值转换为 NA;
coalesce(): 找出若干列中第一个不为 NA 的值;
if_else(): 向量化的 ifelse 函数的效果.
recode: 把一系列值转换为其他值
case_when: 多条件选择.theseq <- c(5, 1, 3, 2, 2, NA)
lead(theseq, 1)
# 最后一位缺少的补 NA
# [1] 1 3 2 2 NA NA
lag(theseq, 1) # 第一位缺少的补 NA
# [1] NA 5 1 3 2 2
row_number(theseq)
# [1] 5 1 4 2 3 NA
min_rank(theseq)
# [1] 5 1 4 2 2 NA
dense_rank(theseq)
# [1] 4 1 3 2 2 NA
cume_dist(theseq)
# [1] 1.0 0.2 0.8 0.6 0.6 NA
ntile(theseq, 3)
# [1] 3 1 2 1 2 NA
cumsum(theseq)
# [1] 5 6 9 11 13 NA
na_if(theseq, 2)
# [1] 5 1 3 NA NA NA
coalesce(theseq, c(NA, 1, 2, NA, 4, 5))
# [1] 5 1 3 2 2 5
recode(theseq, '2' ='two', '5'='five')
# [1] "five" NA NA "two" "two" NA
case_when(
theseq %% 2 == 0 ~ 'even',
theseq %% 2 == 1 ~ 'odd' )
# [1] "odd" "odd" "odd" "even" "even" NA分割-应用-整合
拿我们的 iris 数据来说, 如果我想要知道每个物种的每一种属性的均值, 就可以使用 group_by 和 summarize 函数来获得.
iris %>% group_by(Species) \
%>% summarize(
Sepal.Width=mean(Sepal.Width),
Sepal.Length=mean(Sepal.Length),
Petal.Length=mean(Petal.Length),
Petal.Width=mean(Petal.Width) )
# Species Sepal.Width Sepal.Length Petal.Length Petal.Width
#
# 1 setosa 3.428 5.006 1.462 0.246
# 2 versicolor 2.770 5.936 4.260 1.326
# 3 virginica 2.974 6.588 5.552 2.026同样, 也有众多的函数可以用于 summarize 函数.
mean(), median(), max(), min(), sd(),
IQR(), mad() 等统计函数.
first(), last(), nth(): 返回第几位的值.
n(): 计算数据的数量, 相当于 length() 函数.
n_distinct(): 计算非重复数据的数量, 相当于 length(unique(x)).
any(), all(): 逻辑计算函数.排序
在分析的时候需要对数据进行排序, dplyr 提供了 arrange 函数. 例如我们按照 Petal.Width 对数据进行从小到大排序.
iris %>% arrange(Petal.Width)
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1 4.9 3.1 1.5 0.1 setosa
# 2 4.8 3.0 1.4 0.1 setosa
# 3 4.3 3.0 1.1 0.1 setosa配合 desc 函数可以实现从大到小排序.
iris %>% arrange(desc(Petal.Length), Petal.Width)
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1 7.7 2.6 6.9 2.3 virginica
# 2 7.7 2.8 6.7 2.0 virginica
# 3 7.7 3.8 6.7 2.2 virginica