kNN分类算法伪代码&最简python代码

一.工作原理

kNN算法是监督学习的一种,首先要有样本集(包含特征与目标变量),然后再输入没有标签只有特征的新数据,其次算出新数据与每个样本集的距离(所以kNN算法的特征都要为数据类型或标称型),这里的距离计算函数可以是欧氏距离、余弦距离、汉明距离、曼哈顿距离等,选出前k个最近距离的样本,最后定义新数据的目标变量是前k个样本中出现频率最高的目标变量。

把工作原理转化为伪代码的思路:

  1. 有一个未知分类的数据A,我们只知道A的特征值[x1, y1, z1], 我想知道A的分类是什么
  2. 如果要通过A的特征值来判断它的分类,前提条件一定是要有一批和A相同特征且已经知道分类的样本,这里我们取最简情况,样本有两个一个为B[x2, y2, z2]分类为“要下雨”,C[x3, y3, z3]分类为“不下雨”
  3. 按kNN算法的思路,我算出A与B,C的距离,A离B近那么A的分类就是“要下雨”,反之则A是“不下雨”,这样就成功得到A的分类,不过这只是最简的情况,下面我们还要考虑一些复杂的情况
  4. 问题1:如果有很多个样本,而且我们也没办法保证样本中没有异常值。 假如现在样本有五个分别为B(要下雨),C(不下雨),D(要下雨),E(不下雨),F(要下雨),其中F是异常值,假设测试样本A的真实分类是不下雨,因为F是异常值,导致F与A的距离最近,如果我们就简单地选距离最近的,就容易造成错误,所以这时候就要用到kNN算法中的K了,我们选取前K个最近距离的样本,然后再选出前K个中分类数最多的那个分类。比如,K取3,然后前3个中有1个要下雨,2个不下雨,那么我们就认为A是不下雨。
    kNN分类算法伪代码&最简python代码_第1张图片
  5. 问题2:如果特征值x的取值范围大大超过y和z,会有什么影响? 例如:x的取值范围在[0,100],而y和z的取值范围只有[0,1],那么这样就会造成在算距离的时候特征x对距离的值影响非常大,这就要用到归一化的手段了,具体下面第六点有讲。
    在这里插入图片描述
  6. 问题3:如果特征值是标称类的怎么办? 例如特征值z是指颜色,最简单的办法就是比较测试样本与训练样本的颜色是否相同,相同差值就为0,不相同差值就为1

二.代码思路

  1. 计算已知类别数据集中的点与当前点之间的距离;
  2. 按照距离递增次序排序;
  3. 选取与当前点距离最小的k个点;
  4. 确定前k个点所在类别的出现频率;
  5. 返回前k个点出现频率最高的类别作为当前点的预测分类

三.伪代码

输入参数

  • 测试样本 :是一个数组,存放当前要测试的样本
  • 训练样本 :是一个二维的矩阵,存放了很多条训练样本记录
  • 目标变量集:训练样本集对应的目标变量
分类器算法(测试样本,训练样本, 目标变量集,k):
	用线性运算求出训练样本每个记录与测试样本的距离
	对距离进行排序
	for i in  range(k):
		算出前k个分类变量中每个分类变量的数目
	返回数目最多的那个变量

四.python最简代码

写在kNN.py文件中,样本集和测试样本都存放在numpy的array对象中,因为array对象可以用线性代数运算

def classify0(in_data, feature_group, label, k):
    """
    k近邻算法的分类器
    @param in_data:没有目标变量的新数据
    @param feature_group:只有特征的样本数据集
    @param label:训练样本数据集对应的目标变量
    @param k:
    @return:
    """
    dim_len = feature_group.shape[0]  # 查看列方向的维度
    sub_data = np.tile(in_data, (dim_len, 1)) - feature_group  # tile:从不同维度扩展列表,1代表第二维不扩展
    sq_sub_data = sub_data ** 2  # 对列表中的每个元素求平方
    sum_sq_sub_data = sq_sub_data.sum(axis=1)  # 以行方向求和
    geom_distance = sum_sq_sub_data ** 0.5

    index_sorted_gd = geom_distance.argsort()  # 返回数组排序后的索引值

    label_freq = {}
    for i in range(k):
        label_value = label[index_sorted_gd[i]]
        label_freq[label_value] = label_freq.get(label_value, 0) + 1

    sort_class_label = sorted(iter(label_freq.items()), key=operator.itemgetter(1), reverse=True)  # 排序
    return sort_class_label[0][0]

五.示例

kNN分类算法伪代码&最简python代码_第2张图片

六.归一化

由于不同的特征,其总体的值大小不一样,这样有些特征占的权重就会非常大,所以我们要把所有的特征都归一化,这样每个特征的影响都一样

ef normalization(data_set):
    """
    核心公式 (x-min)/(max-min), 记得用线性代数的思维去处理矩阵
    @param data_set:存放特征的数据集,不包含目标变量
    @return:归一化的特征数据集,后面两个返回变量可有可无,没什么影响
    """
    max_data = data_set.max(0)  # 找出每列的最小值
    min_data = data_set.min(0)  # 找出每列的最大值
    range_data = max_data - min_data
    norm_data = np.zeros(np.shape(data_set))
    d1 = data_set.shape[0]
    norm_data = data_set - np.tile(min_data, (d1, 1))  # min_data本身就三列,所以列不用扩展
    norm_data = norm_data/np.tile(range_data, (d1, 1))
    return norm_data, d1, min_data

你可能感兴趣的:(机器学习最简代码示例)