机器学习（6）KNN算法（K-近邻算法）

目录

一、基础理论

1、估计器 

1、生成模型

2、 模型评估

2、KNN基础

3、API

二、过程

1、获取数据

2、划分数据集

3、特征工程（标准化）

4、KNN算法预估器

4-1、得到预估器

4-2、训练（用设置好的预估器对训练值进行训练）

5、模型评估

5-1、得到预估器的预测结果 

5-2、对比预测值和测量目标值

5-3、得到准确率（对比特征集和目标集测试值）

代码

---

一、基础理论

1、估计器 

1、生成模型

 estimator.fit(train_data, train_target)

2、 模型评估

方法一：直接比对真实值和预测值

test_target = estimator.predict(train_test)
test_target == test_predict

方法二：计算准确率

accuracy = estimator.score(train_test, target_test)

 

2、KNN基础

 

核心思想：根据邻居推断类别。取k个邻居，哪个类别更多，则归为哪个。

 定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

 

例： 

 

k值取得过小：容易受到异常点的影响。

k值取得过大：容易受到样本不均衡的影响。

应用场景：少量数据。

计算距离：欧氏距离、曼哈顿距离、明可夫斯基距离

欧氏距离

曼哈顿距离：绝对值距离

 

3、API

sklearn.neighbors.KNeighborsClassifier

二、过程

1、获取数据

# 1、获取数据
    iris = load_iris()

2、划分数据集

对特征值和目标值进行划分，得到：

特征训练集、特征测试集、目标训练集、目标测试集。

# 2、划分数据集
    train_data, test_data, train_target, test_target = train_test_split(iris.data, iris.target)
    # 特征集训练值 特征集测试值 目标集训练值   目标值测试值

3、特征工程（标准化）

对特征集（特征训练集和特征测试集）进行标准化。

# 3、特征工程（标准化）
    transfer = StandardScaler()
    train_data = transfer.fit_transform(train_data)
    test_data = transfer.transform(test_data)
    # 注：不进行fit处理：测试集要用训练集的特征值和标准差（否则测试集就是在自己对自己进行测试，没有意义）
    # 注：target是目标值，不能进行标准化（所以train_target和test_target不进行标准化）

4、KNN算法预估器

4-1、得到预估器

这里设置邻居（k值）为3 ，也就是从最近的3个元素中做评估。

# 4-1、得到预估器
    estimator = KNeighborsClassifier(n_neighbors = 3)    #n_neighbors：k（邻居为3）

4-2、训练（用设置好的预估器对训练值进行训练）

# 4-2、训练
    estimator.fit(train_data, train_target)

5、模型评估

方法一：比对预测值和目标值

# 方法一：对比预测值和测量目标值
    predict = estimator.predict(test_data)      # 得到预测结果
    print(predict)
    print("直接比对预测值和测量目标值：\n", predict==test_target)

方法二：得到准确率

# 方法二：计算准确率
    score = estimator.score(test_data, test_target)
    print("准确率：\n", score)

代码

# KNN算法（K-近邻算法）
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

# KNN算法
def KNN():
    # 1、获取数据
    iris = load_iris()

    # 2、划分数据集
    train_data, test_data, train_target, test_target = train_test_split(iris.data, iris.target)
    # 特征集训练值 特征集测试值 目标集训练值   目标值测试值

    # 3、特征工程（标准化）
    transfer = StandardScaler()
    train_data = transfer.fit_transform(train_data)
    test_data = transfer.transform(test_data)
    # 注：不进行fit处理：测试集要用训练集的特征值和标准差（否则测试集就是在自己对自己进行测试，没有意义）
    # 注：target是目标值，不能进行标准化（所以train_target和test_target不进行标准化）

    # 4、KNN算法预估器
    # 4-1、得到预估器
    estimator = KNeighborsClassifier(n_neighbors = 3)    #n_neighbors：k（邻居为3）
    # 4-2、训练（用预估器对训练值进行训练）
    estimator.fit(train_data, train_target)

    # 5、模型评估
    # 方法一：对比预测值和测量目标值
    predict = estimator.predict(test_data)      # 得到预测结果
    print(predict)
    print("直接比对预测值和测量目标值：\n", predict==test_target)

    # 方法二：计算准确率
    score = estimator.score(test_data, test_target)
    print("准确率：\n", score)


if __name__ == '__main__':
    KNN()       #KNN算法

缺点：K值的确定。