统计学习方法——第3章

第3章 k近邻法

简介

k近邻法(k-nea。rest neighbor,k-NN)是一种基于分类与回归方法。

分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方法进行预测。

因此,k近邻法不具有显示的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。

k近邻法有三个基本的要素:k值的选择、距离度量及分类决策规则

k近邻法的一个实现方法——kd树;

一、k近邻算法

1、k近邻算法:

给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类;

2、算法1:k近邻算法——没有显示的学习过程,即没有显示的梯度更新过程。

统计学习方法——第3章_第1张图片

距离度量和分类决策是关键;

 

二、k近邻模型

k近邻法使用的模型实际上对应于对特征空间的划分,模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。

1、模型:

确定k近邻模型就是确定距离度量、k值的选择和分类决策规则三个要素,这三个要素确定了,对于任何一个新的输入实例,它所属的类别就唯一的确定了。

单元:特征空间中,对于每个训练实例点x,距离该点比其他点更近的所有点组成一个区域,叫作单元。

【可以这样理解,k近邻模型将所有的实例划分成了一个个的单元,每个单元内的实例是属于同一个类别的,当输入一个新的实例时,判断其属于哪个单元里面,然后就可以知道其所属的类别了。】

下面是对二维特征空间的划分:

统计学习方法——第3章_第2张图片

2、距离度量:

我们在划分单元的时候是根据距离来划分的,特征空间中,两个点的距离越小就说明了两个点越相似。

k近邻模型可以使用欧式距离、Lp距离、Minkowski距离等。

【注:由不同的距离度量所确定的最近邻点是不同的】

 

3、k值的选择:

k值的选择对k近邻法的结果产生重大影响。

k值的减小就意味着整体模型变得复杂,容易发生过拟合;

k值的增大意味着整体的模型变得简答;

在实际的应用中,k值一般取一个较小的数值。通常采用交叉验证法来取最优的k值。

 

4、分类决策规则

有了距离的度量和k值的选择之后,就剩下分类决策规则了。如何由这k个实例的分类确定输入类别的实例,这就是分类决策规则要做的事。

上面说了,每个单元里面的实例是属于一个类别,与输入的实例最近邻的k个实例不一定全部都在一个单元里面,所以这就需要分类决策规则来确定输入实例的所属类别。

k近邻法中分类决策规则往往是多数表决,多数标准规则等价于经验风险最小化。

 

三、k近邻法的实现:kd树

实现k近邻法时,主要考虑的问题是如何对训练数据集进行快速k近邻搜索,这点在特征空间维度大及训练数据容量大时尤其必要。

k近邻法最简单的实现方法是线性扫描,这时要计算输入实例与每一个训练实例的距离。当训练集很大时,非常耗时。

另一种思路是使用特殊的结构来存储训练数据,以减少计算距离的次数。常见的是kd数方法。

1、构造kd树:【递归的思想】

kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形结构。kd树是二叉树,表示对k未空间的一个划分。

下面是用递归的思想构造kd树:

算法2:

统计学习方法——第3章_第3张图片

统计学习方法——第3章_第4张图片

【按照我的理解就是:从第一个特征开始对k维的实例进行划分,从1开始一直到k,进行递归。如果,1~k之后还是没有进行跳出递归条件,那就再从1~k开始进行递归,知道两个子区域没有存在时停止,从而形成kd树】

2、搜索kd树:

在构造了用于存储kd树的数据结构之后,接着要考虑的就是如何去索引结点了。

下面是kd图的实例:

统计学习方法——第3章_第5张图片

算法3:用kd树的最近邻搜索

统计学习方法——第3章_第6张图片

统计学习方法——第3章_第7张图片

下面是一个例子:

统计学习方法——第3章_第8张图片

 

 

 

 

 

你可能感兴趣的:(机器学习)