k-近邻算法（KNN）

什么是KNN？

k-近邻算法是一个简单的，常被用于分类问题的算法。根据现有的数据进行训练，对输入数据预估分类。

KNN算法的原理

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

如图，把灰色的点分为黄色，绿色或棕色中的一类。
先计算要分类的点与其他点的距离，根据K值找出距离最近的K个点。

距离最近的点中占比最大的分类即为预测出的分类。

K值的设定

k 值取小的话，意味着数据噪音将会在结果上有很大的影响。k 值取大的话，将会使计算成本很大。k 的取值很大程度上也依赖于个人遇到的问题。如何取得更好的 k 值，将由自己来衡量。

实践：使用 k-近邻算法改进约会网站的配对效果

import matplotlib as mp
import jieba
from gensim import corpora,models
from numpy import *

def charge():
    with open(r'datingTestSet.txt','r') as f:
        Line=f.readlines()
        lenth=len(Line)
        Mat=zeros((lenth,3))
        Lable=[]
        index=0
        for line in Line:
            line=line.strip()
            line_split=line.split('\t')
            Mat[index,:]=line_split[0:3]
            Lable.append(line_split[-1])
            index+=1
        return Mat,Lable

def classfiy(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]  # （6，2）
    # tile复制数组 e.g. [0,1], tile([0,1], (3,1)) -> [[0,1],[0,1],[0,1]]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    print(diffMat)
    sqDiffMat = diffMat ** 2
    print(sqDiffMat)
    # axis表示需要加和的维度
    sqDistances = sqDiffMat.sum(axis=1)
    print(sqDistances)
    distances = sqDistances ** 0.5
    print(distances)
    # sortedDistIndicies 是一个排好序的index
    sortedDistIndicies = distances.argsort()
    print(sortedDistIndicies)
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        print(voteIlabel)
        # get是一个字典dict的方法，它的作用是返回key对应的value值，如果没有的话，返回默认值，就是下一行的0
        # classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        print(classCount)
    # sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    sortedClassCount = sorted(classCount.items(), key=lambda d: float(d[1]), reverse=True)
    print(sortedClassCount)
    return sortedClassCount