K最近邻分类算法原理及实例分析

目录

• 概述
• 原理
• 要点
• 实例

1、概述

K最近邻（k-Nearest Neighbor，KNN），指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别，KNN分类算法是最简单的机器学习算法。

2、原理

从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别，本质上，KNN是使用距离来计算相似度。

算法涉及3个主要因素：训练数据集；距离或相似度的计算衡量；k的大小。

已知两类“先验”数据，分别是蓝方块和红三角，他们分布在一个二维空间中；

有一个未知类别的数据（绿点），需要判断它是属于“蓝方块”还是“红三角”类；

考察离绿点最近的3个（或k个）数据点的类别，占多数的类别即为绿点判定类别。

3、要点

• 计算步骤

        算距离：给定测试对象，计算它与训练集中的每个对象的距离；

        找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻；

        做分类：根据这k个近邻归属的主要类别，来对测试对象分类。

• 相似度的衡量

       距离越近应该意味着这两个点属于一个分类的可能性越大。

       距离不能代表一切，有些数据的相似度衡量并不适合用距离。

       相似度衡量方法：包括欧式距离、夹角余弦等。

       简单应用中，一般使用欧氏距离，但对于文本分类来说，使用余弦(cosine)来计算相似度就比欧式(Euclidean)距离更合适。

• 类别判定

       简单投票法：少数服从多数，近邻中哪个类别的点最多就分为该类。

       加权投票法：根据距离的远近，对近邻的投票进行加权，距离越近则权重越大（权重为距离平方的倒数）

4、实例

• 使用knn算法来实现对手写数字的自动识别