R语言-data.table包使用(方便自己使用参考)

R语言-data.table包
它的fread函数读取1G的CSV文件才用了20s左右。其他对data.frame的操作，也快了N倍
特点
data.table(DT)的操作语句类似于SQL，DT[i, j, by]中的i, j, by 对应着SQL语句的 i=where, j=select, by=group by。
所以DT中的i, j并不是只是像data.frame只代表着行列，它更加的灵活多变。
符号 ” := “快速的增加或者删除列，类似SQL的update。
setkey(DT, colA, colB)，可以使得检索和分组更加快速
order,快速多重排序， 例如对DT按照x,y进行排序DT[order(DT$x, -DT$y),]或者DT[with(DT, order(x, -y)),]


###生成数据#######setkey用法
grpsize <- ceiling(1e7/26^2)  ##10^7 rows, 676 groups
DF <- data.frame(x=rep(LETTERS,each=26*grpsize),
    y=rep(letters,each=grpsize), v=runif(grpsize*26^2),
    stringsAsFactors=FALSE)
head(DF,3)
  x y     v
1 A a 0.5310106
2 A a 0.1980941
3 A a 0.8835322
library("data.table")
DT <- as.data.table(DF) ##creat data.table
setkey(DT,x,y) #s et the key建立索引
##################################################查询用法
#比较检索速度，搜索x=="R",y="h"  DT[i, j, by]中的i, j, by 对应着SQL语句的 i=where, j=select, by=group by。
system.time(ans1 <- DF[DF$x=="R" & DF$y=="h",])  #vector scan
 user  system  elapsed
0.528   0.016   0.544
system.time(ans2 <- DT[list("R","h")]) # binary search
 user  system  elapsed
0.004   0.000   0.001


####################################################
###快速分组,按照x分组，然后计算sum(v) 等同 selec sum(v) from DT group by x
#tapply（进行分组统计）
system.time(tt <- tapply(DT$v,DT$x,sum))
 user  system  elapsed
0.704   0.064   0.767
#syntax of data.table
system.time(ss <- DT[,sum(v),by=x])
 user  system  elapsed
0.080   0.000   0.078
#cheak ss and tt
head(ss)
   x     V1
1: A 192213.2
2: B 192183.3
3: C 192601.7
4: D 192308.0
5: E 192428.5
6: F 192071.0
head(tt)
   A        B        C        D        E        F
192213.2 192183.3 192601.7 192308.0 192428.5 192071.0


###Data preparation(准备)
DT = data.table(x=rep(c("a","b","c"),each=3), y=c(1,3,6), v=1:9) ##creat data.table DT
X = data.table(c("b","c"),foo=c(4,2)) ##use to join
setkey(DT,x)    #set the key按照x建索引
########################cheak the data#######
DT
   x y v
1: a 1 1
2: a 3 2
3: a 6 3
4: b 1 4
5: b 3 5
6: b 6 6
7: c 1 7
8: c 3 8
9: c 6 9


X
  V1 foo
1:  b   4
2:  c   2
#################联表，注key1联的另一个表的第一列#################
##join类型1，联表，X中有b,c   select DT.*,X.其他列 from DT join X on DT.x=X.1列 
DT[X]   ##join X,by the key x.
   x  y  v  foo
1: b 1 4   4
2: b 3 5   4
3: b 6 6   4
4: c 1 7   2
5: c 3 8   2
6: c 6 9   2
##join类型2，类似查询,.() 表示list,类似于联一个1行2列的表
DT[.("a",3)]      select DT.*,list.其他列 from DT  join list on DT.x=list.1列
   x y v V2
1: a 1 1  3
2: a 3 2  3
3: a 6 3  3
#############################计算建表#############
#where=DT, select=sum(v)....., group by DT$x
DT[,list(MySum=sum(v),
         MyMin=min(v),
         MyMax=max(v)),
   by=.(x)]    
   x MySum MyMin MyMax
1: a     6     1     3
2: b    15     4     6
3: c    24     7     9


稀疏矩阵
a,b是给出10*10 spase矩阵的哪个位置应该赋值为１，a 为行，b为列，由于你的a,b在sample时有有放回的，因此可能出现重复值，这样导致matrix的元素也可能重复，每重复一次，该元素值增加1，因此你上述代码的matrix中（6，9）重复了一次，因此是2.解决该问题你可以用无放回抽样。
library(Matrix)
set.seed(1) # 加入这个是为了抽样的结果是完全一样的。
a<-sample(1:10,10,replace=F)
b<-sample(1:10,10,replace=F)
c<-sparseMatrix(a,b,x=1)