《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
文章目录
- 第3章 k邻近邻法
-
- 3.1 k近邻算法
- 3.2 k近邻模型
-
- 3.2.1 模型
- 3.2.2 距离度量
- 3.2.3 k值的选择
- 3.2.4 分类决策规则
- 3.3 k近邻法的实现：kd树
-
- 3.3.1 构造kd树
- 3.3.2 搜索kd树
- 算法实现
-
- 课本例3.1
- iris数据集
- scikit-learn实例
- kd树:构造平衡kd树算法
- 例3.2
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第 2章感知机
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
我算是有点基础的（有过深度学习和机器学的项目经验），但也是半路出家，无论是学Python还是深度学习，都是从问题出发，边查边做，没有系统的学过相关的知识，这样的好处是入门快（如果想快速入门，大家也可以试试，直接上手项目，从小项目开始），但也存在一个严重的问题就是，很多东西一知半解，容易走进死胡同出不来（感觉有点像陷入局部最优解，找不到出路），所以打算系统的学习几本口碑比较不错的书籍。
书籍选择： 当然，机器学习相关的书籍有很多，很多英文版的神书，据说读英文版的书会更好，奈何英文不太好，比较难啃。国内也有很多书，周志华老师的“西瓜书”我也有了解过，看了前几章，个人感觉他肯能对初学者更友好一点，讲述的非常清楚，有很多描述性的内容。对比下来，更喜欢《统计学习方法》，毕竟能坚持看完才最重要。
笔记内容： 笔记内容尽量省去了公式推导的部分，一方面latex编辑太费时间了，另一方面，我觉得公式一定要自己推到一边才有用（最好是手写）。尽量保留所有标题，但内容会有删减，通过标黑和列表的形式突出重点内容，要特意说一下，标灰的部分大家最好读一下（这部分是我觉得比较繁琐，但又不想删掉的部分）。
代码实现： 最后是本章内容的实践，如果想要对应的.ipynb文件，可以留言
第3章 k邻近邻法
k近邻法（k-nearest neighbor，k-NN） 是一种基本分类与回归方法。
k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。
k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。
因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。
k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。
3.1 k近邻算法
k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。
k近邻算法：
输入： 训练数据集
T = ( ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . ( x N , y N ) ) T=((x_1,y_1),(x_2,y_2),......(x_N,y_N)) T=((x1,y1),(x2,y2),......(xN,yN))
其中， x i ∈ R n x_i\in R^n xi∈Rn为实例的特征向量， y i ∈ Y ＝ ( c 1 ， c 2 , … , c K ) y_i\in Y＝({c_1，c_2,…,c_K}) yi∈Y＝(c1，c2,…,cK)为实例的类别
输出： 实例x所属的类y。
（1）根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x的邻域记作 N k ( x ) N_k(x) Nk(x)；
（2）在 N k ( x ) N_k(x) Nk(x)中根据分类决策规则（如多数表决）决定x的类别y：
y = a r g m a x ∑ x i ∈ N k ( x ) I ( t i = c j ) , i = 1 , 2.... N ; j = 1 , 2.... K y=arg max \sum_{x_i \in N_k(x)}I(t_i=c_j),i=1,2....N;j=1,2....K y=argmaxxi∈Nk(x)∑I(ti=cj),i=1,2....N;j=1,2....K
其中，I为指示函数，即当 y i ＝ c j y_i＝c_j yi＝cj时I为1，否则I为0。
3.2 k近邻模型
k近邻法使用的模型实际上对应于对特征空间的划分。
模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。
3.2.1 模型
特征空间中，对每个训练实例点 x i x_i xi，距离该点比其他点更近的所有点组成一个区域，叫作单元（cell）。每个训练实例点拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分。
最近邻法将实例 x i x_i x