统计学习方法笔记（一）：K近邻法的实现：kd树

  实现k近邻算法时，首要考虑的问题是如何对训练数据进行快速的k近邻搜索。这点在特征空间的维数大于训练数据容量时尤为重要。

1. 构造kd树
     kd 树是一种对k为空间中的实例点进行存储的一边对其进行快速检索的树形数据结构。kd树是二叉树，表示对k维空间的一个划分（partition）。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分。构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维的超矩形区域。
     构建kd树的方法： 构造跟结点，使跟结点对应于k维空间中包含所有实例点的超矩形区域；通过下面的递归方法，不断地对k为空间进行切分，生产子节点。在超矩形区域（结点）上选择一个坐标轴和在此坐标轴上的一个切分点，确定一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域（子结点）；这时，实例呗分到两个子区域。这个过程直到子区域内没有实例时终止（终止时的结点为叶结点）。在此过程中，将实例保存在相应的结点上。
     通常，依次选择坐标轴对空间划分，选择训练实例点在选定的坐标轴的中位数为切分点，这样得到的kd树是平衡的。注意 ，平衡的kd树搜索时的效率未必是最优的。
   算法：（构造平衡kd树）
   输入： k维空间数据集T={x₁，x₂，…，x_N}，其中x₁=(x_i⁽¹⁾,x_i⁽²⁾,…,x_i^(k))^T,i=1,2,…,N
   输出： kd树
   （1）开始：构造根节点，根节点对应于包含T的k维空间的超矩形区域。
     选择x⁽¹⁾为坐标轴，以T中所有实例的x⁽¹⁾坐标的中位数为一切分点，将根节点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x⁽¹⁾垂直的超平面实现。
   由根节点生成深度为1 的左、右子节点：左子节点对应坐标x⁽¹⁾小于切分点的子区域，右子节点对应于坐标x⁽¹⁾大于切分点的子区域。
     将落在切分超平面上的实例点保存在根节点。
   （2）重复：对深度为j 的结点，选择x⁽¹⁾为切分的坐标轴，l=j(mod k)+1,以该节点的区域中的所有实例的x⁽¹⁾坐标的中位数为切分点，将该结点对应超矩形区域切分成两个子区域。切分由通过切分点并与坐标轴x⁽¹⁾垂直的超平面实现。
     由根节点生成深度为j+1的左、右子节点：左子节点对应坐标x⁽¹⁾小于切分点的子区域，右子节点对应于坐标x⁽¹⁾大于切分点的子区域。
   （3）直到两个子区域没有实例存在时停止。从而形成kd树的区域划分。

2. 搜索kd树
     下面介绍如何利用kd树进行k近邻搜索。这里以最近邻为例加以叙述。
     给定一个目标点，搜索其最近邻。首先找到包含目标点的叶节点；然后从该叶节点出发，一次回退到父节点；不断查找与目标点最近邻的结点，当确定不可能存在更近的结点时终止。这样搜索酒杯限制在空间的局部区域上，效率大为提高。
     包含目标点的叶节点对应包含目标点的最小超矩形区域。一次叶节点的实例点作为当前的最近点。目标点的最近邻一定是以目标点为中心并通过当前最近邻点的超球体内部。然后返回当前结点的父节点，如果父节点的另一子节点的超矩形区域与超球体相交，那么在相交的区域内寻找与目标点更近的实例点。如果存在这样的点，将此点作为新的当前最近邻点。算法转到更上一级的父节点，继续上述过程，如果父节点的另一子节点的超矩形区域与超球体不想交，或不存在比当前更近点更近的点，则停止搜索。
   kd树的最近邻搜索：　　
   输入： 已构造的kd树；目标点x；
   输出： x的最近邻。

   （1） 在kd树中找出包含目标点x的叶结点：从根结点出发，递归的向下访问kd树。若目标点当前维的坐标值小于切分点的坐标值，则移动到左子结点，否则移动到右子结点。直到子结点为叶结点为止；
   （2） 以此叶结点为“当前最近点”；
   （3） 递归的向上回退，在每个结点进行以下操作：
   　　（a） 如果该结点保存的实例点比当前最近点距目标点更近，则以该实例点为“当前最近点”；
   　　（b） 当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一个子结点对应的区域是否有更近的点。具体的，检查另一个子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。
   　　如果相交，可能在另一个子结点对应的区域内存在距离目标更近的点，移动到另一个子结点。接着，递归的进行最近邻搜索。如果不相交，向上回退。
   （4） 当回退到根结点时，搜索结束。最后的“当前最近点”即为x的最近邻点。