机器学习——KNN算法

K-近临分类算法（KNN）

原理：

K最近邻（K-Nearest Neighbor,KNN）算法核心思想是如果一个样本在特征空间中的k个最临近的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。

算法流程：

 算法实例（课内）

使用打斗和接吻镜头数分类电影

每部电影的打斗镜头数、接吻镜头数以及电影评估类型

已知电影与未知电影的距离
得到了距离后，选择前k个电影来判断未知电影的类型

代码：

代码来源：机器学习(六)-基于KNN分类算法的自动划分电影的题材类型实现 - UCloud云社区

import numpy as np


def createDataSet():
    """创建数据集"""
    # 每组数据包含打斗数和接吻数；
    group = np.array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]])
    # 每组数据对应的标签类型；
    labels = ["Roman", "Roman", "Roman", "Action", "Action", "Action"]
    return group, labels


def classify(inx, dataSet, labels, k):
    """
    KNN分类算法实现
    :param inx:要预测电影的数据, e.g.[18, 90]
    :param dataSet:传入已知数据集，e.g. group 相当于x
    :param labels:传入标签，e.g. labels相当于y
    :param k:KNN里面的k，也就是我们要选择几个近邻
    :return:电影类新的排序
    """
    dataSetSize = dataSet.shape[0]  # (6,2) -- 6行2列 ===> 6 获取行数
    # tile会重复inx， 把它重复成(dataSetSize, 1)型的矩阵
    # (x1 - y1), (x2 - y2)
    diffMat = np.tile(inx, (dataSetSize, 1)) - dataSet
    # 平方
    sqDiffMat = diffMat ** 2
    # 相加, axis=1行相加
    sqDistance = sqDiffMat.sum(axis=1)
    # 开根号
    distance = sqDistance ** 0.5
    # 排序索引： 输出的是序列号index， 而不是值
    sortedDistIndicies = distance.argsort()
    # print(sortedDistIndicies)

    classCount = {}
    for i in range(k):
        # 获取排前k个的标签名；
        voteLabel = labels[sortedDistIndicies[i]]
        classCount[voteLabel] = classCount.get(voteLabel, 0) + 1

    sortedClassCount = sorted(classCount.items(),
                              key=lambda d: float(d[1]),
                              reverse=True)
    return sortedClassCount[0][0]


if __name__ == "__main__":
    group, label = createDataSet()
    result = classify([3, 104], group, label, 5)
    print("[3, 104]的电影类型：",  result)

测试结果：

 算法实例（课外）

首先，收集学生（居住在五社区或六社区的学生）一周内去西苑餐厅或者万人餐厅的次数，根据次数判断学生居住区域。

A（训练集）

B（测试集）

 

根据上方课内代码改编可得：

代码截图：