sparkML特征向量合并和拆分
SparkML特征向量合并和拆分
VectorAssembler（特征向量合并）是spark ml包里提供的算法， 但是对于向量拆分，官方没有听方法，这里从GitHub上看到一个向量拆分的算法，一起贴出来学习研究。
VectorAssembler（特征向量合并）
摘录官网翻译：
VectorAssembler 是将给定的一系列的列合并到单个向量列中的transformer。它可以将原始特征和不同特征transformers（转换器）生成的特征合并为单个特征向量，来训练ML模型，如逻辑回归和决策树等机器学习算法。
VectorAssembler可以接受一下的输入类型：所有值类型、布尔类型、向量类型。输入列的值将按指定顺序依次添加到一个向量中。
Example
假设我们有一个 DataFrame 包含 id, hour, mobile, userFeatures以及clicked 列：
id | hour | mobile | userFeatures | clicked
----|------|--------|------------------|---------
0 | 18 | 1.0 | [0.0, 10.0, 0.5] | 1.0userFeatures 是一个包含3个用户特征的特征列，我们希望将 hour, mobile 以及 userFeatures 组合为一个单一特征向量叫做 features，并将其用于预测是否点击。如果我们设置 VectorAssembler 的输入列为 hour , mobile 以及userFeatures，输出列为 features，转换后我们应该得到以下结果：
id | hour | mobile | userFeatures | clicked | features
----|------|--------|------------------|---------|-----------------------------
0 | 18 | 1.0 | [0.0, 10.0, 0.5] | 1.0 | [18.0, 1.0, 0.0, 10.0, 0.5]代码：
package com.hollysys.ml.featureSelectors.vectorAssembler
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.sql.SparkSession
/**
* Created by shirukai on 2018/6/29
*/
object VectorAssemblerLearn {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.appName(this.getClass.getSimpleName).master("local")
.getOrCreate()
val dataset = spark.createDataFrame(
Seq((0, 18, 1.0, Vectors.dense(0.0, 10.0, 0.5), 1.0))
).toDF("id", "hour", "mobile", "userFeatures", "clicked")
val assembler = new VectorAssembler()
.setInputCols(Array("hour", "mobile", "userFeatures"))
.setOutputCol("features")
val output = assembler.transform(dataset)
output.select("features").show()
/**
* +---+----+------+--------------+-------+--------------------+
* | id|hour|mobile| userFeatures|clicked| features|
* +---+----+------+--------------+-------+--------------------+
* | 0| 18| 1.0|[0.0,10.0,0.5]| 1.0|[18.0,1.0,0.0,10....|
*/
}VectorDisassembler（特征向量拆分）
VectorDisassembler与VectorAssembler相反，是非spark ml算法。可以从GitHub上获取源码：https://github.com/jamesbconner/VectorDisassembler
下面将如下格式向量拆分
+--------------------+
| features|
+--------------------+
|[18.0,1.0,0.0,10....|
+--------------------+代码：
val disassembler = new VectorDisassembler().setInputCol("features")
disassembler.transform(output.select("features")).show()
/**
* +--------------------+----+------+--------------+--------------+--------------+
* | features|hour|mobile|userFeatures_0|userFeatures_1|userFeatures_2|
* +--------------------+----+------+--------------+--------------+--------------+
* |[18.0,1.0,0.0,10....|18.0| 1.0| 0.0| 10.0| 0.5|
* +--------------------+----+------+--------------+--------------+--------------+
*/