机器学习之KNN算法

前言：主要介绍KNN算法的基本原理，公式、sklearn实现knn算法，以及knn的优点缺点使用场景等。

---

1 KNN算法

• KNN：中文名分类算法-k近邻算法。如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
• 计算距离公式：
  a(a1, a2, a3), b(b1, b2, b3)
  

2 预测电影类型例子

根据上面的公式计算：
(18-3)的平方+ (90-104)的平方，然后再开方结果：20.5182
依次得出的结果为 356 开方为 18.8679
依次得出的结果为 370 开方为 19.2353
依次得出的结果为 13289 开方为 115.2779
依次得出的结果为 13786 开方为 117.4137
依次得出的结果为 14144 开方为 118.9285
所以我们可以得出 打斗镜头18 接吻镜头90的电影类型为爱情片。

3 sklearn实现KNN算法

还是以预测电影类型为例子，用sklearn实现电影预测。
数据截图：

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import numpy as np


def knncls():
    """
    K-近邻预测电影的类型
    """
    # 读取数据
    data = pd.read_csv("train.csv")
    # 取出数据当中的特征值和目标值
    y = data['电影类型'] #目标值
    x = data[['打斗镜头', '接吻镜头']] #特征值
    # print(x)
    # 进行数据的分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20)
    # 特征工程（标准化）
    std = StandardScaler()
    # 对测试集和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)
    # 进行算法流程 # 超参数
    knn = KNeighborsClassifier(n_neighbors=3)
    knn.fit(x_train, y_train)
    y_predict = knn.predict(x_test)
    print("预测的测试结果", y_predict)
    # 得出预测结果
    print(x_test)
    print(y_test)
    # 得出准确率
    print("预测的准确率：", knn.score(x_test, y_test))

    print("----------------------------------------------------")
    data_test = np.array([[3, 100], [1, 90], [2, 81], [101, 10], [99, 5], [98, 2]])  #自己的数据，预测电影的类型
    y_predict = knn.predict(data_test)
    print(y_predict)
    for i, k in zip(data_test, y_predict):
        print(i[0], "---------", i[1], "--------", k)

if __name__ == '__main__':
    knncls()

4 总结

• 优点：简单，易于理解，易于实现，无需估计参数，无需训练
• 缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大必须指定K值，K值选择不当则分类精度不能保证
• 使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试