使用 Spark MLlib 做 K-means 聚类分析

#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

"""
The K-means algorithm written from scratch against PySpark. In practice,
one may prefer to use the KMeans algorithm in ML, as shown in
examples/src/main/python/ml/kmeans_example.py.

This example requires NumPy (http://www.numpy.org/).
"""
from __future__ import print_function

import sys

import numpy as np
from pyspark.sql import SparkSession


def parseVector(line):
    return np.array([float(x) for x in line.split(' ')])


def closestPoint(p, centers):
    bestIndex = 0
    closest = float("+inf")
    for i in range(len(centers)):
        tempDist = np.sum((p - centers[i]) ** 2)
        if tempDist < closest:
            closest = tempDist
            bestIndex = i
    return bestIndex

深夜跟女朋友聊到最近在做的项目，她做的是基于哈希算法的图像识别上的应用，而我昨晚接到导师给的任务，用K-means做一下聚类分析，
觉得在人生最重要的阶段，我要做的就是提高自己的学习能力然后并在最后，学有所成。
对地铁数据做出
我现在就打算搞好hadoop Spark 这两个大数据架构，我的方向，她搞建模，好慢慢深入
她的话，给了我莫大的激励，“你一定要坚持下去啊== 千万别再弃坑了”
坚持住吧

首先明确运用kmeans算法对哪些数据做出分析，得出什么结果，
测试一下K-means算法的性能
训练集
一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据在分为两个部分：1）训练数据；2）验证数据（Validation Data）。验证数据用于负责模型的构建。具体的是：训练数据（Test Data）：用于模型构建；验证数据（Validation Data）：可选，用于辅助模型构建，可以重复使用；测试数据（Test Data）：用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率。绝对不允许用于模型构建过程，否则会导致过渡拟合。

K-Means属于基于平方误差的迭代重分配聚类算法，其核心思想十分简单：
随机选择K个中心点
计算所有点到这K个中心点的距离，选择距离最近的中心点为其所在的簇
简单的采用算术平均数（mean）来重新计算K个簇的中心
重复步骤2和3,直至簇类不在发生变化或者达到最大迭代值
输出结果
K-Means算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对K值的选择没有准则可依循，对异常数据较为敏感，只能处理数值属性的数据，聚类结构可能不平衡。

参考文献

---

Clustering - RDD-based API - Spark 2.0.0 Documentation