K-近邻算法（KNN）

• KNN算法是有监督的学习,数据必须带有目标值
• 要求数据的样本要平衡
• 要清楚k值的作用:找周围离自己最近的几个数据

原理：

• 优点：精度高、对异常值不敏感、无数据输入假定。
• 缺点：时间复杂度高、空间复杂度高。
• 适用数据范围：数值型和标称型。

代码实现：

#导入常用库
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import seaborn as sns
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

#获取数据集
iris = load_iris()
#提取数据
data = iris.data
#提取目标值
target = iris.target
#提取特征名
feature_name = iris.feature_names

#数据转化
data = DataFrame(data=data,columns=feature_name)
#数据切割为训练集和测试集，切割比例0.2
X_train,X_test,y_train,y_test = train_test_split(data,target,test_size=0.2)

#实例化KNN
knn = KNeighborsClassifier()
#训练
knn.fit(X_train,y_train)
#测试评估
knn.score(X_train,y_train) #0.975 
knn.score(X_test,y_test) #0.9666666666666667

#预测
knn.predict(X_test)  #array([2, 0, 2, 1, 1, 0, 0, 1, 2, 1, 0, 0, 1, 1, 1, 1, 1, 1, 2, 2, 1, 2,1, 0, 2, 0, 1, 1, 1, 0])

模拟封装KNN：

• 体会KNN内部原理，个人理解
• 数据与上部分代码共享

#导入常用库
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import seaborn as sns
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

#KNN类
class MyKNN():
    def __init__(self,n_neighbors=5):
        self.k = n_neighbors #K值，提取数据个数
    
    #训练
    def fit(self,X_train,y_train):
        self.X_train = np.array(X_train)
        self.y_train = np.array(y_train)
    
    #预测
    def predict(self,X):
        X_test = np.array(X)
        #零矩阵，填充就按后的欧几里得距离值，长度与测试集相同
        pred = np.zeros(len(X_test))
        #求距离，获得距离矩阵
        long_arr = self.get_long(X_test)
        #排序取值，算出最相近分类，循环测试集
        for i in range(len(X_test)):
            #从距离矩阵中循环每个样本行
            #argsort排序病获得排序后的索引
            #取前K个值得索引
            #使用索引列表从训练目标值中获取对应数据
            y = self.y_train[np.argsort(long_arr[i])[:self.k]]
            #bincount 测算每个目标值出现的次数
            #取出出现最多的目标值，填充
            pred[i] = np.argmax(np.bincount(y))
        return pred.astype(np.int)
        
                    
    #获取两点间距离 欧几里得距离
    def get_long(self,X_test):
        #测试样本数量
        sample_num = X_test.shape[0] #30 行
        #训练样本数量
        feature_num = self.X_train.shape[0] #120 列
        #零矩阵
        arr = np.zeros((sample_num,feature_num))
        for i in range(sample_num):
            #欧几里得距离公式求距离(勾股定理原理)
            arr[i] = (np.sum((self.X_train - X_test[i])**2,axis=1))**0.5
        return arr
    
    #测试 
    def score(self,X,y):
        X = np.array(X)
        y = np.array(y)
        #调用预测方法
        pred = self.predict(X)
        #预测结果集与目标值比对，返回布尔值
        res = (pred == y).sum()
        #返回正确的概率
        return res/len(y)