机器学习 | Python实现KNN(K近邻)算法模型

基本描述

机器学习中的K近邻算法（K-Nearest Neighbors）是一种简单而实用的分类和回归方法。

模型假设

它基于一个直观的假设：与某个未知样本相似的样本在特征空间中的位置也会比较接近。
大白话解释

假设你有一群朋友，他们各自有不同的兴趣爱好。现在有个新朋友加入了你们的圈子，但他的兴趣你还不太清楚。你想预测他最有可能的兴趣爱好，该怎么办呢？

这时候，你可以观察已知朋友的兴趣，找到兴趣与他最接近的几个朋友，并根据这些朋友的兴趣来推断新朋友的兴趣。这就是K近邻算法的基本思想。

具体来说，我们假设样本的特征可以用一个多维空间表示。K近邻算法会计算未知样本与训练样本之间的距离，并选取距离最近的K个训练样本作为邻居。然后，根据这些邻居的标签来预测未知样本的标签。

模型原理

• K近邻算法的基本原理可以简洁地概括为以下几步：

  计算距离：对于每个未知样本，计算它与所有训练样本之间的距离。常用的距离度量方法包括欧氏距离、曼哈顿距离等。

  选择邻居：选取距离最近的K个训练样本作为邻居。

  多数表决：