机器学习值KNN：K近邻算法（一：算法原理）

目录

一、KNN概述

二、KNN三要素 

2.1、距离度量 

2.2 、K值的选择

2.3、分类决策规则

三、KNN的优缺点 

四、KNN的实现：kd树

4.1、kd树的构造

4.2、kd树的搜索 

---

一、KNN概述

KNN是一种常见的有监督学习算法，可以用于分类，也可以用于回归，比较常用于分类。 

K近邻算法的直观解释就是给定一个已知样本分类的训练数据集，当有新样本输入时，在训练集中找到K个和新样本距离最近的的训练样本，这K个训练样本多数属于哪个类别，就把这个新样本判定为哪个类别。 

二、KNN三要素 

2.1、距离度量 

多维特征空间中，