Python机器学习——KNN

原理

• 1、KNN（K-nearest neighbors）：意为K近邻。取名由来or算法思想：如果想要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力，对他的这五个朋友的经济水平求平均就是这个人的经济水平
• 2、在一个没有标签的样本进入算法后，首先计算他与训练集中每个样本的距离，找到与他最近的K个样本，然后用他这K个最近邻居的标签来确定它的标签
• 3、属于机器学习中有监督的分类预测模型，K表示要用到多少个邻居的数量

步骤

• 1、给定测试样本，计算每个测试样本与训练集中每个样本的距离
• 2、给每个测试样本找出距离最近的K个训练样本，作为测试样本的近邻
• 3、依据K个近邻标签确定测试集样本的标签，其中标签判定依据如下
  • 3.1、投票原则，少数决定多数
  • 3.2、加权投票法，距离与投票进行加权，设定权重为距离平方的倒数

案例