k-近邻算法(KNN)

什么是KNN?

k-近邻算法是一个简单的,常被用于分类问题的算法。根据现有的数据进行训练,对输入数据预估分类。

KNN算法的原理

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

k-近邻算法(KNN)_第1张图片
如图,把灰色的点分为黄色,绿色或棕色中的一类。
先计算要分类的点与其他点的距离,根据K值找出距离最近的K个点。

k-近邻算法(KNN)_第2张图片
距离最近的点中占比最大的分类即为预测出的分类。

K值的设定

k 值取小的话,意味着数据噪音将会在结果上有很大的影响。k 值取大的话,将会使计算成本很大。k 的取值很大程度上也依赖于个人遇到的问题。如何取得更好的 k 值,将由自己来衡量。

实践:使用 k-近邻算法改进约会网站的配对效果

k-近邻算法(KNN)_第3张图片

import matplotlib as mp
import jieba
from gensim import corpora,models
from numpy import *

def charge():
    with open(r'datingTestSet.txt','r') as f:
        Line=f.readlines()
        lenth=len(Line)
        Mat=zeros((lenth,3))
        Lable=[]
        index=0
        for line in Line:
            line=line.strip()
            line_split=line.split('\t')
            Mat[index,:]=line_split[0:3]
            Lable.append(line_split[-1])
            index+=1
        return Mat,Lable

def classfiy(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]  # (6,2)
    # tile复制数组 e.g. [0,1], tile([0,1], (3,1)) -> [[0,1],[0,1],[0,1]]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    print(diffMat)
    sqDiffMat = diffMat ** 2
    print(sqDiffMat)
    # axis表示需要加和的维度
    sqDistances = sqDiffMat.sum(axis=1)
    print(sqDistances)
    distances = sqDistances ** 0.5
    print(distances)
    # sortedDistIndicies 是一个排好序的index
    sortedDistIndicies = distances.argsort()
    print(sortedDistIndicies)
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        print(voteIlabel)
        # get是一个字典dict的方法,它的作用是返回key对应的value值,如果没有的话,返回默认值,就是下一行的0
        # classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        print(classCount)
    # sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    sortedClassCount = sorted(classCount.items(), key=lambda d: float(d[1]), reverse=True)
    print(sortedClassCount)
    return sortedClassCount

你可能感兴趣的:(k-近邻算法(KNN))