Data Types - MLlib-本地向量

Data Types - MLlib

• Local vector
• Labeled point
• Local matrix
• Distributed matrix
  • RowMatrix
  • IndexedRowMatrix
  • CoordinateMatrix
  • BlockMatrix

MLlib支持存储在单个节点上的本地向量和矩阵，以及由一个或多个RDD支持的分布式矩阵。局部向量和局部矩阵是用作公共接口的简单数据模型。底层线性代数运算由 Breeze和jblas提供。在监督学习中使用的训练示例在MLlib中被称为“标记点”。

本地向量

本地向量具有整数类型和基于0的索引和double类型值，存储在单个机器上。MLlib支持两种类型的局部向量：dense和sparse.密集向量由表示其条目值的double数组组成，而稀疏向量由两个并行数组支持：索引和值。例如，向量(1.0, 0.0, 3.0)可以密集格式表示为[1.0, 0.0, 3.0]或以稀疏格式表示(3, [0, 2], [1.0, 3.0])，元组中的3是向量的大小。[0,2]表示索引 [1.0,3.0]表示值

Scala

local vector的基类是Vector，Spark提供两种实现方式：DenseVector和SparseVector。建议使用实现的工厂方法 Vectors来创建本地向量。

import org.apache.spark.mllib.linalg.{Vector, Vectors}

// Create a dense vector (1.0, 0.0, 3.0).
val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))

println(VD);
println(sv1);

//res
[1.0,2.0,3.0]
(3,[0,1],[2.0,3.0])

注意： 默认导入的是Scalascala.collection.immutable.Vector，要使用MLlibVector需要导入org.apache.spark.mllib.linalg.Vector 。