第三章:K近邻法

文章目录

    • K近邻法
        • 3.1K近邻简介
        • 3.2K近邻算法
        • 3.3K近邻误差率
        • 3.4K近邻三要素
          • 模型:
          • 距离度量:
          • K-值选择
          • 分类决策规则
        • 3.5kd树
        • 3.6kd树的构造算法
        • 3.7搜索kd树
          • 搜索kd树例子:

K近邻法

3.1K近邻简介

第三章:K近邻法_第1张图片

3.2K近邻算法

第三章:K近邻法_第2张图片

3.3K近邻误差率

第三章:K近邻法_第3张图片第三章:K近邻法_第4张图片第三章:K近邻法_第5张图片第三章:K近邻法_第6张图片

3.4K近邻三要素

模型:

第三章:K近邻法_第7张图片

距离度量:

第三章:K近邻法_第8张图片第三章:K近邻法_第9张图片

不同距离度量的选择,可以导致最近邻点也不同

K-值选择

第三章:K近邻法_第10张图片

分类决策规则

第三章:K近邻法_第11张图片

第三章:K近邻法_第12张图片

3.5kd树

第三章:K近邻法_第13张图片

3.6kd树的构造算法

第三章:K近邻法_第14张图片

第三章:K近邻法_第15张图片

  1. 排序:2,4,5,7,8,9,选择7划分区域

    第三章:K近邻法_第16张图片

  2. 选择:2 4 5 | 8 9,再次划分区域

    第三章:K近邻法_第17张图片

  3. 唯一

第三章:K近邻法_第18张图片

第三章:K近邻法_第19张图片

3.7搜索kd树

第三章:K近邻法_第20张图片

搜索kd树例子:

第三章:K近邻法_第21张图片

1.按照(7,2),(5,4),(4,7)找到“当前最近点”

第三章:K近邻法_第22张图片

2.回溯发现兄弟结点(2,3)有更近的距离,更新“当前最近点”

第三章:K近邻法_第23张图片

3.顺利回溯至根结点

你可能感兴趣的:(统计学习方法,算法,数据挖掘)