统计学习方法|K近邻法

1.k近邻算法

  k近邻算法简单、直观给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类.下面先叙述k近邻算法，然后再讨论其细节。

1.1k近邻算法

  近邻法的特殊情况:k=1情形，称为最近邻算法.对于输入的实例点(特征向量)$x$,最近邻法将训练数据集中与$x$最邻近点的类作为$x$的类。

1.2k近邻模型

  k近邻法使用的模型实际上对应于对特征空间的划分.模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。
  k近邻法中， 当训练集、距离度量(如欧氏距离)、k值及分类决策规则(如多数表决)确定后，对于任何一个新的输入实例，它所属的类唯一的确定.这相当于根据上述要素将特征空间划分为一些子空间，确定子空间里的每个点所属的类，这一事实从最近邻算法中可以看得很清楚。
  特征空间中，对每个训练实例点$x_i$，距离该点比其他点更近的所有点组成个区域，叫作单元 (ce11)。 每个训练实例点拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分.最近邻法将实例$x_i$的类$y_i$作为其单元中所有点的类标记 (class label). 这样，每个单元的实例点的类别是确定的。图3.1 是二维特征空间划分的一个例子。

1.2.1距离度量

  特征空间中两个实例点的距离是两个实例点相似程度的反映。k近邻模型的特征空间一般是n维实数向量空间$R^n$。 使用的距离是欧氏距离，但也可以是其他距离，如更一般的 Lp 距离 ($L_p$ distance) 或Minkowski 距离 (Minkowski distance）

  图3.2 给出了三维空间中$p$取不同值时，与原点的$L_p$ 距离为1 ($L_p$ =1)点的图形。

1.2.2k值的选择

  k值的选择会对k近邻法的结果产生重大影响.
  如果选择较小的k值，就相当于用较小的邻域中的训练实例进行预测，"学习"的近似误差 (approximation error) 会减小，只有与输入实例较近的(相似的)训练实例才会对预测结果起作用。但缺点是"学习"的估计误差 (estimation error) 会增大，预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错。换句话说，k值的减小就意味着整体模型变得复杂，容易发生过拟合。
  如果选择较大的k值，就相当于用较大邻域中的训练实例进行预测。其优点是可以减少学习的估计误差。但缺点是学习的近似误差会增大。这时与输入实例较远的(不相似的)训练实例也会对预测起作用。使预测发生错误。k值的增大就意味着整体的模型变得简单。
  如果 k=N 那么无论输入实例是什么，都将简单地预测它属于在训练实例中最多的类.这时，模型过于简单，完全忽略训练实例中的大量有用信息，是不可取的。
  在应用中 k值一般取一个比较小的数值.通常采用交叉验证法来选取最优的k值。

1.2.3分类决策规则

  k近邻法中的分类决策规则往往是多数表决，即由输入实例的k个邻近的训练实例中的多数类决定输入实例的类。

2.k近邻算法的实现：kd树

  实现k近邻法时，主要考虑的问题是如何对训练数掘进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。
  k近邻法最简单的实现方法是线性扫描 (linear scan)。 这时要计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的.
  为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。具体方法很多，下面介绍其中的kd树（kd tree）方法。

2.1构造kd树

  kd 树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd 树是二叉树，表示对k维空间的一个划分（partition）. 构造kd树当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。
  构造 kd 树的方法如下：构造根结点，使根结点对应于k维空间中包含所有实例点的超矩形区域，通过下面的递归方法，不断地对k空间进行切分,生成子结点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域〈子结点)，这时，实例被分到两个于区域。这个过程直到子区域内没有实例时终止〈终止时的结点为叶结点)。在此过程中，将实例保存在相应的结点上。
  通常，依次选择坐标轴对空间切分，选择训练实例点在选定坐标轴上的中位数（median）为切分点，这样得到的 kd 树是平衡的。注意.平衡的 kd 树搜索时的效率未必是最优的。
  下面给出构造 kd 树的算法：

2.1搜索kd树

  下面介绍如何利用 kd 树进行k近邻搜索.可以看到，利 kd 树可以省去对大部分数据点的搜索，从而减少搜索的计算量，这里以最近邻为例加以叙述，同样的方法可以应用到k近邻。

  给定一个目标点，搜索其最近邻。首先找到包含目标点的叶结点；然后从该叶结点出发，依次回退到父结点；不断查找与目标点最邻近的结点，当确定不可能存在更近的结点时终止。这样搜索就被限制在空间的局部区域上，效率大为提高。
  包含目标点的叶结点对应包含目标点的最小超矩形区域.以此叶结点的实例点作为当前最近点，目标点的最近邻一定在以目标点为中心并通过当前最近点的超球体的内部，然后返回当前结点的父结点，如果父结点的另一个子结点的超矩形区域与超球体相交，那么在相交的区域内寻找与目标点更近的实例点。如果存在这样的点，将此点作为新的当前最近点算法转到更上一级的父结点，继续上述过程。如果父结点的另一个子结点的超矩形区域与超球体不相交，或不存在比当前最近点更近的点，则停止搜索。
  下面叙述kd树的最近邻搜索算法：

3.k近邻算法的总结：

  1. k近邻法是基本且简单的分类与回归方法k 近邻法的基本做法是:对给定的训练实例点和输入实例点 首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类的多数来预测输入实例点的类。
  2. k近邻模型对应于基于训练数据集对特征空间的一个划分。k近邻法中，当训练集、距离度量、 k值及分类决策规则确定后，其结果唯一确定。
  3.k近邻法三要素：距离度量、值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的$L_P$距离.k值小时，近邻模型更复杂；值大时，k邻模型更简单 值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的k。常用的分类决策规则是多数表决，对应于经验风险最小化。
  4. 近邻法的实现需要考虑如何快速搜索k个最近邻点 。kd 树是一种便于对k维空间中的数据进行快速检索的数据结构。kd 树是二叉树，表示k维空间的一个划分，其每个结点对应于k维空间划分中的一个超矩形区域。利用 kd树可以省去对大部分散据点的搜索，从而减少搜索的计算量。