算法笔记（5）-K最近邻算法及python代码实现

K最近邻算法既可以用于分类又可以用于回归。

K最近邻(k-Nearest Neighbor，KNN)算法分类的基本原理：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
K最近邻(k-Nearest Neighbor，KNN)算法回归的基本原理：当我们使用K最近邻回归计算某个数据点的预测值时，模型会选择离数据点最近的若干个训练数据集中的点，并且将他们的y值取平均值，并把该平均值作为新数据点的预测值。

一、K最近邻算法在分类任务中的应用

下面实现一个数据点在训练好的模型下分类，可视化效果图如下

#%%

import numpy as np
clf = KNeighborsClassifier()
clf.fit(X,y)

#下面的代码用于画图
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),
                     np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Pastel1)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.spring, edgecolor='k')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier:KNN")
plt.scatter(6.75,4.82, marker='*',c='red', s=200)
plt.show()


#%%

二、K最近邻算法在回归分析中的应用

下面实现K最近邻算法回归可视化效果图如下

from sklearn.neighbors import KNeighborsRegressor
reg = KNeighborsRegressor()
reg.fit(X,y)
z = np.linspace(-3,3,200).reshape(-1,1)
plt.scatter(X,y,c='orange',edgecolor='k')
plt.plot(z, reg.predict(z),c='k',linewidth=3)
plt.title('KNN Regressor')
plt.show()

 对模型进行评分