count*类特征统计的R方法及耗时对比
count*特征在kaggle比赛的特征工程中使用特别常见，其统计主要有如下几种方法：
1. 使用add_count + rename组合——train1 <- mtcars %>% add_count(cyl,carb,vs,am,gear) %>% rename("count1"=n)；
2. 使用group_by + mutate组合——train2 <- mtcars %>% group_by(cyl,carb,vs,am,gear) %>% mutate(count1 = n())；
3. 针对data.table类型使用——train3[, count1:=.N, by=list(cyl,carb,vs,am,gear)]。
当数据量很大时候，效率方法3 > 方法2 > 方法1
验证：
df <- data.frame(a = rpois(40,100),
b = rpois(80,50),
c = rnorm(1000000),
d = rnorm(1000000))
df %>% head(10)方法1
## method 1
invisible(gc())
df1 <- df
tic()
df1 <- df1 %>% add_count(a,b) %>% rename("no_a_b" = n) %>%
add_count(a) %>% rename("no_a" = n)
toc()
head(df1)结果：
0.307 sec elapsed
方法2
## method 2
invisible(gc())
df2 <- df
tic()
df2 <- df2 %>% group_by(a,b) %>% mutate(no_a_b = n()) %>%
group_by(a) %>% mutate(no_a = n())
toc()
head(df2)耗时
0.201 sec elapsed方法3
invisible(gc())
df3 <- as.data.table(df)
tic()
df3[, no_a_b:=.N, by = list(a,b)]
df3[, no_a:=.N, by = list(a)]
toc()
head(df3)
耗时
0.079 sec elapsed总结：当数据量较大时候，读入数据一般会使用data.table的fread函数，这时候特征工程建议使用方法3（速度快）和方法2（方便多特征同时管道操作）。