李航统计学习--第三章 K临近（KNN）

通过多数表决等方式进行预测，不具有显式的学习过程。实际是利用训练数据集对特征向量空间进行划分，将其作为分类“模型”。K值的选择，距离度量和分类决策规则是KNN模型的三要素

3.1算法

3.2模型

KNN的模型对应特征空间的划分

3.2.1距离度量

3.2.2 K值选择

k'小，学习的近似误差小，只有与输入实例近似的训练实例才会对预测结果起作用。学习的估计误差大，预测结果对临近的实例点敏感，若临近噪声，预测出错。K小说明模型复杂，易过拟合

实际应用：交叉验证选取最优K值

3.2.3 分类决策规则

多数表决规则

3.3 KD 树--二叉树

如何对训练数据进行快速K临近搜索。最简单的是线性扫描，需要计算输入实例与每个训练示例的距离，很耗时。考虑特殊的结构存储训练数据。

构造kd树相当于用垂直于坐标轴的超平面将K维空间进行切分，构成系列k维超矩形区域，kd树每个节点对应于一个k维超矩形区域。

构造方法：构造根节点，使其根节点对应于k维空间包含所有实例点的超矩形区域；通过递归方法，不断地对k维空间进行切分，生成子节点，直到该子区域没有实例为止

通常选择坐标轴对空间切分，选择训练示例在坐标轴上的中位数作为切分点，得到平衡的kd树（未必搜索效率最优）