spark中 进行高维矩阵的SVD分解（1）

最近需要做个主题模文档分类，所以牵扯到高维矩阵的分解，初步尝试 7万*9万的矩阵分解，单机是实在无法跑的动，所以选择分布式的处理，来尝试

import java.util.{Date, Locale}
import java.text.DateFormat
import java.text.DateFormat._
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg._
val now1 = new Date  //打印开始读数据的时间

//开始读取hdfs的数据 eg：我这里的数据是存放在hdfs的path=“/usr/matrix/title_matrix.txt” 下，分割符是‘，’
val M = new RowMatrix(sc.textFile("hdfs:///usr/matrix/title_matrix.txt").map(_.split(','))
.map(_.map(_.toDouble))
.map(_.toArray).map(line => Vectors.dense(line)))

//对矩阵进行 svd分解  并设置输出时的时间
val svd = M.computeSVD(9, true)
val last1 = new Date

//打印输出时的时间
now1
last1

//可以查看奇异值分解的U、D、V

val U = svd.U
U.rows.foreach(println)
val s = svd.s
val V = svd.V

//可以把上面求出的矩阵存储到hdfs的指定位置

val V = svd.V.toArray.grouped(svd.V.numRows).toList.transpose
sc.makeRDD(V, 1).zipWithIndex().map(line => line._2 + "\t" + line._1.mkString("\t")).saveAsTextFile("hdfs://usr/matrix/right_singular_vectors")

以上测试：

单机：台式机 内存：16g cpu：intel 2.8gz  1万*1万的矩阵 跑了一个半小时

集群：4台集群 每台内存：2g  cpu不详  1万*1万的矩阵 跑了55分钟

所以还无法显示spark集群的优势，现在正在跑 7万*9万 11.6g的txt  不知道要跑多久 等待后续更行