kNN算法

一. kNN算法

kNN(k-NearestNeighbor)，即k最近邻算法，是机器学习算法中最基础的入门算法。
由名字可知该算法的核心思想是，某个未被标记的样本的类别，要由距离他最近的k个已知类别的邻居来决定。
优点：
缺点：

二. 实现步骤

假设nobody为待标记的样本，[marked_group]为已标记的样本数据集
1.计算出nobody到[marked_group]中的每一个成员的距离(一般称作欧式距离)，并记录到[distance]数组中；
2.对[distance]进行排序
3.选出[distance]中距离nobody最近的[k]个邻居
4.统计这[k]个邻居中，每个类别的样本个数，即A类别有多少个，B类别有多少个......
5.nobody的类比即为[k]个邻居中样本个数最多的类别

三.代码实现

import numpy as np
import matplotlib.pyplot as plt
from collections import Counter

# 准备数据 raw_data_x特征 raw_data_y标签 undef待标记
raw_data_x = [[3.393533211, 2.331273381],
              [3.110073483, 1.781539638],
              [1.343853454, 3.368312451],
              [3.582294121, 4.679917921],
              [2.280362211, 2.866990212],
              [7.423436752, 4.685324231],
              [5.745231231, 3.532131321],
              [9.172112222, 2.511113104],
              [7.927841231, 3.421455345],
              [7.939831414, 0.791631213]
              ]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
undef = [8.90933607318, 3.365731514]
k = 6

# 设置训练组
x_train = np.array(raw_data_x)
y_train = np.array(raw_data_y)


# 将数据可视化
'''
plt.scatter(x_train[y_train == 0, 0], x_train[y_train == 0, 1], color='g', label='Tumor Size')
plt.scatter(x_train[y_train == 1, 0], x_train[y_train == 1, 1], color='b', label='Tumor Size')
plt.xlabel('Tumor Size')
plt.ylabel('Time')
plt.axis([0, 10, 0, 5])
plt.show()
'''


def distance(x_train, x):
    # 计算距离
    distances = [np.sqrt(sum(x-item)**2) for item in x_train]
    # argsort()函数返回值是排序后的数在distances中的索引
    return np.argsort(distances)


def result(x_train, raw_data_y, x, k):
    dis = distance(x_train, undef)
    # 取出dis中前k个值作为获取y_train中的数的索引
    nearer = [y_train[i] for i in dis[:k]]
    # 统计每个标签出现的次数
    votes = Counter(nearer)
    # 取最大值
    reault_val = votes.most_common(1)[0][0]
    return reault_val


print(result(x_train, y_train, undef, k))