spark中稀疏向量转密集向量

在通过VectorAssembler将多列特征值和并后,由于spark存储格式的原因,会将含有很多0值的一行转为稀疏向量sparseVector
进行存储。然而在后续计算过程中,我们需要的是密集向量,所以需要将稀疏向量转为密集向量。

1.先通过VectorAssembler将需要的列转成向量列
2.转为RDD后map操作,将feature列中的元素转为DenseVector
在这里插入图片描述
spark中稀疏向量转密集向量_第1张图片

你可能感兴趣的:(spark,spark,机器学习)