Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示

本文测试的Spark版本是1.3.1

在使用Spark的机器学习算法库之前,需要先了解Mllib中几个基础的概念和专门用于机器学习的数据类型

特征向量Vector:

Vector的概念是和数学中的向量是一样的,通俗的看其实就是一个装着Double数据的数组
Vector分为两种,分别是密集型和稀疏型
创建方式如下:

 val array:Array[Double] = ...
 val vector = Vector.dense(array)//创建密集向量
 val vector = Vector.sparse(array)// 创建稀疏向量

注意:Scala默认引用的是scala.collection.immutable.Vector,为了使用Mllib中的Vector,必须显示引入org.apache.spark.mllib.linalg.Vector

密集向量和稀疏向量的却别:
密集向量的值就是一个普通的Double数组
而稀疏向量由两个并列的 数组indices和values组成
例如:向量(1.0,0.0,3.0)用密集格式表示为[1.0,0.0,3.0],用稀疏格式表示为(3,[0,2],[1.0,3.0])
第一个3表示向量的长度,[0,2]就是indices数组,[1.0,3.0]是values数组
表示向量0的位置的值是1.0,而2的位置的值是3.0

含类标签的点 LabeledPoint:

一个含类标签的点由一个类标签(Double型)和一个向量(密集或者稀疏)组成
在Mllib中,监督学习算法会用到LabeledPoint,比如:回归和分类等

LabeledPoint通过case class LabeledPoint来创建

val pos = LabeledPoint(1.0,Vector.dense(1.0,0.0,3.0))
val neg = LabeledPoint(1.0,Vector.sparse(3,Array(0,2),Array(1.0,3.0)))

矩阵 Matrix:

矩阵分为本地矩阵和分布式矩阵两种
本地矩阵创建方式如下:

val dm:Matrix = Matrices.dense(3,2,Array(1.0,3.0,5.0,2.0,4.0,6.0))//创建一个3*2的密集矩阵

可以看到,其存储的方式是一个矩阵大小(3,2)和一维数组[1.0,3.0,5.0,2.0,4.0,6.0]

分布式矩阵:
一个分布式的矩阵由一个Long型的行列索引和Double型的数据组成,分布式存储在一个或多个RDD中

最基本的RowMatrix:面向行的分布式矩阵,其行索引是没有具体含义的,其通过一个RDD来代表所有的行,每个行都是一个本地向量

RowMatrix创建方式:

val rows:RDD[Vector] = ...//RowMatrix可以从一个RDD[Vector]类型创建出来
val mat:RowMatrix = new RowMatrix(rows)
//获得RowMatrix的size
val r = mat.numRows()
val c = mat.numCols()

行索引矩阵IndexedRowMatrix:和RowMatrix类似,但是其行索引是有含义的,可以通过其来检索信息

创建方式:

val rows:RDD[IndexedRow] = ...//IndexedRowMatrix可以从一个RDD[IndexedRow]中创建,IndexedRow其实就是一个(Long,Vector)的封装类,就是比创建RowMatrix时多需要了一个Long类型的行索引

val mat:IndexedRowMatrix = new IndexedRowMatrix(rows)
//获得IndexedRowMatrix 的size
val r = mat.numRows()
val c = mat.numCols()
//如果剔除掉IndexedRowMatrix 的行索引,就会变为一个RowMatrix
val rowMatrix = mat.toRowMatrix()

三元组矩阵 CoordinateMatrix:其实体集合是一个RDD,每个实体是一个(i:Long,j:Long,value:Double)三元组,其中i表示行索引,j为列索引,value为对应的数据。一般只有当矩阵很大,而且很稀疏时才使用

CoordinateMatrix创建方式如下:

val enties:RDD[MatrixEntry] = ...//CoordinateMatrix可以从一个RDD[MatrixEntry]中创建,MatrixEntry其实就是一个(Long,Long,Double)的封装类
val mat:CoordinateMatrix = new CoordinateMatrix(enties)
//获得mat:CoordinateMatrix 的size
val r = mat.numRows()
val c = mat.numCols()
//将其转换成IndexedRowMatrix,但是这个IndexedRowMatrix的行是稀疏的
val indexedRowMatrix = mat.toIndexedRowMatrix()

其实从RowMatrix,IndexedRowMatrix到CoordinateMatrix,是一步一步的升级的,三者都是有一个RDD来表示所有的实体,只是其中的实体不同而已
RowMatrix的每个实体是本地向量
IndexedRowMatrix的每个实体都是Long类型的行索引加+本地向量
CoordinateMatrix的每个实体是两个Long类型的行列索引+本地向量

三者的创建方式也都是类似的
RowMatrix通过一个RDD[Vector]来创建,而一个Vector其实就是表示一个Double型的数组而已,在将其转换成RDD即可

IndexedRowMatrix通过一个RDD[IndexedRow]来创建,IndexedRow就是封装好了的(Long,Vector)类型,相信能够通过Vector来创建RowMatrix的,使用IndexedRow创建IndexedRowMatrix也不是什么难事

CoordinateMatrix通过一个RDD[MatrixEntry]来创建,MatrixEntry就更简单了,直接就是一个(Long,Long,Double)的封装类,连Vector都不需要了

三者的概念的联系就是如此而已,不要被他们的名字吓到了

以上是Mllib中几个基本概念和数据类型介绍,更多相关的操作如:对矩阵的汇总统计和相关性计算,分层抽样,假设检验,随机数据生成等请参考官方文档(其实就是提供了一个类似静态的工具类,调用其方法即可)

下面例举Mllib中线性回归,KMeans和协同过滤三种算法的来演示

线性回归:

在本例中使用到的Mllib专用数据类型为LabelPoint

测试数据如下:

Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示_第1张图片

测试数据下载地址

object LinearRegression {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage : <master> <hdfs path>")
      System.exit(1)
    }
    val conf = new SparkConf().setMaster(args(0)).setAppName("LinearRegression")
    val sc = new SparkContext(conf)
    //读取hdfs上的测试数据,并将其转化为LabeledPoint类型
    val data = sc.textFile(args(1)).map { lines =>
      val parts = lines.split(",")
      LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(" ").map(_.toDouble)))
    }
    //设置算法的迭代次数
    val numIterations = 100
    //使用LinearRegressionWithSGD类的train,将数据(LabeledPoint)传进去进行模型训练,得到一个评估模型
    val model = LinearRegressionWithSGD.train(data, numIterations)
    //使用模型的predict方法来进行预测,将LabeledPoint的features(也就是value部分)当做预测数据,并将预测结果和LabeledPoint的label(类标签)部分,组成一个元组返回
    val result = data.map { point =>
      val prediction = model.predict(point.features)
      (point.label, prediction)
    }
    //输出元组内容
    result.foreach(println)
    //计算模型评分星级MSE 
    val MSE = result.map { case (v, p) => math.pow((v - p), 2) }.mean()
    println("train result MSE:" + MSE)
}

KMeans算法:

KMeans算法中用到的Mllib专用数据类型有:Vector

测试数据下载地址

object KMeans {
  def main(args: Array[String]) {
    if (args.length < 3) {
      System.err.println("Usage : <master> <hdfs path> <file save path>")
      System.exit(1)
    }

    val conf = new SparkConf().setMaster(args(0)).setAppName("KMeans")
    val sc = new SparkContext(conf)
    //读取数据,并转化成密集向量
    val data = sc.textFile(args(1)).map { lines =>
      Vectors.dense(lines.split(" ").map(_.toDouble))
    }
    //实例化KMeans类,该类用来做算法的一些设置和运行算法
    val km = new KMeans()
    //设置聚类中心点个数为2,最大迭代次数为20,run方法开始运算,传入测试数据集
    val model = km.setK(2).setMaxIterations(20).run(data)
    //输出得到的模型的聚类中心
    println("cluster num :" + model.k)
    for (i <- model.clusterCenters) {
      println(i.toString)
    }

    println("----------------------------------------")

    //使用自定义的数据对模型进行测试,让其判断这些向量分别属于哪个聚类中心
    println("Vector 0.2 0.2 0.2 is closing to : " + model.predict(Vectors.dense("0.2 0.2 0.2".split(" ").map(_.toDouble))))
    println("Vector 0.25 0.25 0.25 is closing to : " + model.predict(Vectors.dense("0.25 0.25 0.25".split(" ").map(_.toDouble))))
    println("Vector 8 8 8 is closing to : " + model.predict(Vectors.dense("8 8 8".split(" ").map(_.toDouble))))

    println("----------------------------------------")

    //将测试数据再次作为预测数据传入模型中进行预测
    val result0 = model.predict(data).collect().foreach(println)

    println("----------------------------------------")

    //数据得到的结果,保存在hdfs中(直接打印也可以)
    val result = data.map { lines =>
      val res = model.predict(lines)
      lines + " clustingCenter: " + res
    }.saveAsTextFile(args(2))
  }
}

协同过滤:

在此算法中有一个Rating数据类型是专门用来运算协同过滤的
Rating的定义如下:Rating(user:Int,product:Int,rating:Double)
user:用户id
product:产品id(可以是电影,商品等各种各样)
rating:该用户对该产品的评分

测试数据如下:

Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示_第2张图片

测试数据下载地址

object CF {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage : <master> <hdfs path>")
      System.exit(1)
    }
    val conf = new SparkConf().setMaster(args(0)).setAppName("Collaborative Filtering")
    val sc = new SparkContext(conf)
    //读取文件,并转化为Rating类型
    val ratings = sc.textFile(args(1)).map(_.split("::") match { case Array(user, item, rate) => Rating(user.toInt, item.toInt, rate.toDouble) }) //设置隐形因子个数,迭代次数 val rank = 10 val numIterations = 5 //调用ALS类的train方法,传入要训练的数据等进行模型训练 val model = ALS.train(ratings, rank, numIterations, 0.01) //将训练数据转换成(user,item)格式,以作为测试模型预测的数据(协同过滤的模型预测时是传入(user,item),然后预测出每个user-item对应的评分) val usersProducts = ratings.map { case Rating(user, item, rate) => (user, item) }
    //调用model的predict,传入(user, item)格式的测试数据进行预测,得到的结果为(user,item,rating)
    val prediction = model.predict(usersProducts).map { case Rating(user, item, rate) => ((user, item), rate) }
    //将得到的预测评分结果和原先的数据进行join操作,以便观察预测的准确度
    val result = ratings.map { case Rating(user, item, rate) => ((user, item), rate) }.join(prediction)
    result.collect().foreach(println)
  }
}

其实通过官方文档的example照葫芦画瓢,调用Mllib中各个算法就可以很方便快速的进行机器学习,但是这仅仅是会调用算法库而已,机器学习中的各种算法原理还是需要深入了解和掌握的。不然使用Mllib可以如此简单的调用机器学习的算法,那么和别人相比,怎么能够突出你的优势所在呢?

你可能感兴趣的:(机器学习,协同过滤,MLlib,kmeans,线性回归)