《统计学习方法》——第三章 K近邻法

  • 本章讨论的是分类问题中的K近邻法

3.1 K近邻算法

算法简述:

 《统计学习方法》——第三章 K近邻法_第1张图片   《统计学习方法》——第三章 K近邻法_第2张图片

  • 当K取3时,绿色点属于红类;当K取5时,绿色点属于蓝类。
  • 在右图中,距离度量采用欧氏距离。

3.2 K近邻模型

3.2.1 模型

  • 没有类似于感知机模型的函数表示,理解理解。

                                        《统计学习方法》——第三章 K近邻法_第3张图片 

  • 若K=1,则为最近邻模型。测试实例在哪个训练实例点的单元(上图的方框)范围内就属于哪个类别。

3.2.2 距离度量

Lp距离

  • p=1时, 称为曼哈顿距离。(1,0)和(0.5,0.5)到(0,0)的距离是一样的 
  • p=2时,称为欧式距离
  • p=无穷,它是各个坐标距离的最大值。坐标里的最大值即为距离。

                                          《统计学习方法》——第三章 K近邻法_第4张图片

3.2.3 K值的选择

  • 交叉验证!!!! 用验证集定K值。

3.2.4 分类决策规则

             《统计学习方法》——第三章 K近邻法_第5张图片        《统计学习方法》——第三章 K近邻法_第6张图片

  • 取经验风险最小化的类别。

3.3  k 近邻法的实现:kd树

(用的时候再补)

 

你可能感兴趣的:(统计学习方法,深度学习,自然语言处理,神经网络,机器学习)