揭开“近朱者赤，近墨者黑”的K最近邻算法（KNN）的面纱
目录
前言
一、KNN是什么？
二、实例引入
1.问题描述
编辑
2.观察图像
3.问题引入
三、算法原理和核心思想
1.算法原理
2.核心问题
问题1：如何选择K值？
问题2：怎样确定数据与数据间的量度？
二维空间距离公式（欧氏距离）
三维空间距离公式
四、实战演示
1.计算新样本点与已知样本点的距离
2.距离排序
编辑
3.确定k值
4.距离最近的k个点 投票结果
五、总结分析
科技的力量（scikit-learn中的KNN算法）
六、展望
我是一个刚刚开始机器学习的小白，希望我的讲解能够帮助到有需要的人，如果有不足的地方，还请大家多多谅解，有建议可以发表在评论区。还请大家多多支持，我会持续更新的谢谢！
长风破浪会有时，直挂云帆济沧海！
前言
随着时代的更新交替，人工智能领域出现在人们生活的场景越来越多，人工智能专业也越来越火爆，可是作为普通人的我们，该怎样学习人工智能这个方向，它真的很难吗？下面请跟着我的介绍，来看一看机器学习下的KNN算法吧。
一、KNN是什么？
KNN是一种用于解决分类问题和回归问题的最常见的方法，虽然它很平凡，但是它的功能很强大。学习一个算法最好的方法便是通过案例来加深我们对它的印象。下面开始吧！
二、实例引入
1.问题描述
在我们生活里有已经划分好种类的数据，它们分类的依据是根据各自的特性，比如尺寸、形状、大小等等特征，但是当一个新的东西出现时，我们应该怎么判断它的种类？
代码如下（数据集可视化）：
# 这是已知的数据和种类
import numpy as np
import matplotlib.pyplot as plt
# 样本数据
data_X = [
[1.3, 6],
[3.5, 5],
[4.2, 2],
[5, 3.3],
[2, 9],
[5, 7.5],
[7.2, 4],
[8.1, 8],
[9, 2.5]
]
# 样本特征
data_y = [0,0,0,0,1,1,1,1,1]# 训练集
X_train = np.array(data_X)
y_train = np.array(data_y)
# 图像呈现
plt.scatter(X_train[y_train == 0,0],X_train[y_train == 0,1],color='red',marker='o')
plt.scatter(X_train[y_train == 1,0],X_train[y_train == 1,1],color='black',marker='x')
plt.show
2.观察图像
通过图像我们可以明显看出来，给出的数据点有明显的两类，它们分布大致成两块。
3.问题引入
此刻，有一个位置的点(4，5)，我们想判断它是属于红色部分还是蓝色部分，该怎么判断呢？
三、算法原理和核心思想
1.算法原理
KNN分类的基本原理有以下几条：
1.“近朱者赤，近墨者黑”（最重要的！！！）
这句话的意思是，靠近哪一个就属于哪一类，也就是knn的核心思想。
2.k个最近的邻居
这里的k是我们自己定义的，k也就是说在未知点的周围一次取k个点，将它看作该点的邻居。
3.投票制度
这里的投票制度是说，我们根据上面k个邻居中的种类个数，采取“少数服从多数”即投票制度，来将未知划分为多数的那一类。
2.核心问题
问题1：如何选择K值？
对于一个值的问题，我们将它分成三种情况即过大、过小、合适。
过大：K太大，会出现“欠拟合”的现象，所谓的“欠拟合”，就是拟合效果不好，就好比一个人买裤子，他买的裤子特别的大，会让他的腿显得特别臃肿，会导致决策率很低。
过小：K过小，会出现“过拟合”，所谓的“过拟合”，用一种极端的比喻，就是在这个位置点周围，我只取K=1，也就是一个点，我根据这一个点来判断位置点的种类，这样得到的结果误差太大，不具有说服力。
我们最希望取的K值是最合适的，因为这样的拟合效果最好，得到的结果也是最有说服力的。
问题2：怎样确定数据与数据间的量度？
这里主要采用的是距离公式，常见的距离公式已经放在下方。
二维空间距离公式（欧氏距离）
三维空间距离公式
还有等等的距离公式，根据情况选择合适的公式来使用。
四、实战演示
将位置的点在之前的图像上面呈现：（代码如下）
# 要检测的测试点
data_new = np.array([4,5])
plt.scatter(X_train[y_train == 0,0],X_train[y_train == 0,1],color='red',marker='o')
plt.scatter(X_train[y_train == 1,0],X_train[y_train == 1,1],color='black',marker='x')
plt.scatter(data_new[0],data_new[1],color='blue',marker='^')
plt.show
1.计算新样本点与已知样本点的距离
distances = [np.sqrt(np.sum((data-data_new)**2)) for data in X_train ]
distances
2.距离排序
sort_index = np.argsort(distances)
sort_index
3.确定k值
k = 54.距离最近的k个点 投票结果
first_k = [y_train[i] for i in sort_index[:k]]
first_k
五、总结分析
根据上述训练集，我们通过四步走的方法，得到最终结果，因为在k=5的情况下，投票“0”的人数最多，有4个人，而投票“1”的仅有1个人，所以我们将未知点划分为0这一类，这也就是KNN算法的应用。
通过上述，我们可以了解到KNN的用途，以及它的强大，上面的步骤是我们一步一步来写的，回到现在，我们可以站在巨人的肩膀上，别人已经为我们封装好了这个KNN的库，我们只需要调用库函数传参即可完成KNN算法。
科技的力量（scikit-learn中的KNN算法）
from sklearn.neighbors import KNeighborsClassifier
knn_classifier = KNeighborsClassifier(n_neighbors=5)
knn_classifier.fit(X_train,y_train)
knn_classifier.predict(data_new.reshape(1,-1))
六、展望
我是一个刚刚开始机器学习的小白，希望我的讲解能够帮助到有需要的人，如果有不足的地方，还请大家多多谅解，有建议可以发表在评论区。还请大家多多支持，我会持续更新的谢谢！
长风破浪会有时，直挂云帆济沧海！