R稀疏矩阵转化稠密矩阵|使用as.matrix()报错：Cholmod error 'problem too large'

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵，以及稀疏矩阵（sparse matrix）和稠密矩阵之间的互化。

问题&报错

在R环境中，用的非常普遍的函数就是as.matrix(),但是，当转化的稀疏矩阵对象非常巨大的时候，例如细胞数目非常多的单细胞数据，R就会报如下类似的错误:

Error in asMethod(object) :
  Cholmod error 'problem too large' at file ../Core/cholmod_dense.c

原因&解决

这是因为as.matrix这个函数本身不支持大体量的稀疏矩阵转换为稠密矩阵（也就是我们常规的矩阵），但如果采取用高级语言（例如R或python）循环填进去的方法的话，极其耗费资源，所以可以选择直接修改该函数的底层C++语言，来解决这个问题：

library(Rcpp)
Rcpp::sourceCpp(code='
#include 
using namespace Rcpp;
// [[Rcpp::export]]
IntegerMatrix asMatrix(NumericVector rp,
                       NumericVector cp,
                       NumericVector z,
                       int nrows,
                       int ncols){
  int k = z.size() ;
  IntegerMatrix  mat(nrows, ncols);
  for (int i = 0; i < k; i++){
      mat(rp[i],cp[i]) = z[i];
  }
  return mat;
}
' )

as_matrix <- function(mat){
  row_pos <- mat@i
  col_pos <- findInterval(seq(mat@x)-1,mat@p[-1])
  tmp <- asMatrix(rp = row_pos, cp = col_pos, z = mat@x,
                  nrows =  mat@Dim[1], ncols = mat@Dim[2])
  row.names(tmp) <- mat@Dimnames[[1]]
  colnames(tmp) <- mat@Dimnames[[2]]
  return(tmp)
}
as_matirx() #接下来调用即可

PS，如果数据是浮点型需要把上述的IntegerMatrix替代为NumericMatrix，不然会强制转化为整型的矩阵。

构建稀疏矩阵

此外，如果需要将稠密矩阵转化成为稀疏矩阵，方法很多，介绍一种使用

library("Matrix")
dg <- as(matrix_object,"dgCMatrix")

具体关于构建和解释稀疏矩阵，可以参照：https://blog.csdn.net/jeffery0207/article/details/122507934

题外

最后，其实如果不想这么麻烦，又不想去sample随机取样缩减数据量，大家也不用那么死板，那就先把大矩阵拆分成几个小的，转完之后再合并就行了，效果是一样的，不是非得一次性转完才算好，曲线救国的方式很多，bug自然就消失了。