机器学习原理之KNN算法以及sklearn实现Iris鸢尾花分类

一、KNN算法原理

KNN（k-nearest neighbor）算法是一种基本的分类与回归算法比较简单、直观：从给定的训练数据集中找出距离新输入的实例最近的k个实例，然后在这k个实例中类别数量最多的那个类就是我们新输入实例的最终分类结果。
伪代码：
对于输入训练集：Train={(x1,y1),(x2,y2)…(xn,yn)} 其中x为实例向量 y为该组数据对应的分类标签
输出：给定新实例x的类别 y∈{y1,y2,y3…yn}
(1)根据给定的距离度量标准，在训练集Train中找到与实例x最近的k个点；
(2)根据分类决策规则决定x的类别y：
k个样本中，最多的类为实例x的类标签。
常用的距离度量

（1）p>=1,当p=2时，该距离称作为欧氏距离
（2）p=1时，该距离称作曼哈顿距离，一般常用的p取2
knn的优缺点：
算法的时间复杂度和空间复杂度在数据量很大的时候会非常的大，但是准确率会比较好，并且受异常值的影响也不会很大。

二、基于python的sklearn包的实现

流程图实现如下：（结合代码查看）

数据包是鸢尾花数据，是原来就收集好了的数据
sklearn模块的api链接 https://scikit-learn.org/stable/
这里用到了model_selection（交叉检验function）、preprocessing（标准化function）、以及neighbors包（knn实例化）
代码如下

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier


class KNN(object):
    
    #利用KNN算法对鸢尾花进行分类
    

    # 获取鸢尾花数据 三个类别(山鸢尾/0，虹膜锦葵/1，变色鸢尾/2)，每个类别50个样本，每个样本四个特征值(萼片长度，萼片宽度，花瓣长度，花瓣宽度)
    def get_iris_data(self):
        iris = load_iris()
        iris_data = iris.data
        iris_target = iris.target

        return iris_data, iris_target

    def run(self):
        # 获取鸢尾花的特征值，目标值
        iris_data, iris_target = self.get_iris_data()
        # 将数据分割成训练集和测试集 test_size=0.25表示将25%的数据用作测试集
        x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_target, test_size=0.25)
        # 特征工程(对特征值进行标准化处理)
        std = StandardScaler()
        x_train = std.fit_transform(x_train)
        x_test = std.transform(x_test)

        # 送入算法
        knn = KNeighborsClassifier(n_neighbors=5) # 创建一个KNN算法实例，n_neighbors默认为5,后续通过网格搜索获取最优参数
        knn.fit(x_train, y_train) # 将测试集送入算法
        y_predict = knn.predict(x_test) # 获取预测结果
        # 预测结果展示
        labels = ["山鸢尾","虹膜锦葵","变色鸢尾"]
        for i in range(len(y_predict)):
            print("第%d次测试:真实值:%s\t预测值:%s"%((i+1),labels[y_predict[i]],labels[y_test[i]]))
        print("准确率：",knn.score(x_test, y_test))

if __name__ == '__main__':
    knn = KNN()
    knn.run()

运行结果如下：