（KNN笔记一）KNN聚类的原理和实现

 目录

一.算法原理

    通用步骤

    K的选取

    如何选取K

二.Python的举例实现（癌症检测）

1.加载数据

2.乱序分组（测试集和训练集）

3.KNN算法的实现

4.测试并输出结果

三.代码

一.算法原理

.通用步骤 

1.计算距离（常用欧几里得距离或马氏距离）

2.升序排列

3.取前K个

4.加权平均

.K的选取

K太大：导致分类模糊

K太小：受个例影响，波动较大

由图可知，有两个类型的样本数据，一类是蓝色的正方形，另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。

如果K=3，那么离绿色点最近的有2个红色三角形和1个蓝色的正方形，这3个点投票，于是绿色的这个待分类点属于红色的三角形。
如果K=5，那么离绿色点最近的有2个红色三角形和3个蓝色的正方形，这5个点投票，于是绿色的这个待分类点属于蓝色的正方形。

因此，K值的选择对分类的结果有较大的影响。

.如何选取K

经验

均方根误差

 

二. Python的举例实现（癌症检测）

1.加载数据集

链接：https://pan.baidu.com/s/1w8cyvknAazrAYnAXdvtozw
提取码：zxmt

2.乱序分组（测试集和训练集）

random.shuffle(datas)
n = len(datas) // 3

test_set = datas[0:n]
train_set = datas[n:]

3.KNN算法的实现

def distance(d1,d2):
    res = 0

    for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
        res += (float(d1[key]) - float(d2[key])) ** 2

    return res ** 0.5

K = 5
def KNN(data):
    #1.距离
    res = [
        {"result":train["diagnosis_result"],"distance":distance(data,train)}
        for train in train_set
    ]

    #2.升序排序
    res = sorted(res,key=lambda item:item["distance"])

    #3.取前K个
    res2 = res[0:K]

    #4.加权平均
    result = {'B':0,'M':0}

    #总距离
    sum = 0
    for r in res2:
        sum += r["distance"]

    #计算权重
    for r in res2:
        result[r["result"]] += 1-r["distance"]/sum

    #结果
    if result['B'] > result['M']:
        return 'B'
    else:
        return 'M'

4.测试并输出结果

correct = 0
for test in test_set:
    result = test["diagnosis_result"]
    result2 = KNN(test)

    if result == result2:
        correct += 1

print("准确率：{:.2f}%".format(100 * correct / len(test_set)))

三.代码

import csv

#读取数据
import random

with open("Prostate_Cancer.csv","r") as file:
    reader = csv.DictReader(file)
    datas = [row for row in reader]

#乱序分组，（测试集、训练集）
random.shuffle(datas)
n = len(datas) // 3

test_set = datas[0:n]
train_set = datas[n:]


#KNN算法的实现
#算法
def distance(d1,d2):
    res = 0

    for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
        res += (float(d1[key]) - float(d2[key])) ** 2

    return res ** 0.5

K = 5
def KNN(data):
    #1.距离
    res = [
        {"result":train["diagnosis_result"],"distance":distance(data,train)}
        for train in train_set
    ]

    #2.升序排序
    res = sorted(res,key=lambda item:item["distance"])

    #3.取前K个
    res2 = res[0:K]

    #4.加权平均
    result = {'B':0,'M':0}

    #总距离
    sum = 0
    for r in res2:
        sum += r["distance"]

    #计算权重
    for r in res2:
        result[r["result"]] += 1-r["distance"]/sum

    #返回结果
    if result['B'] > result['M']:
        return 'B'
    else:
        return 'M'

#测试
correct = 0
for test in test_set:
    result = test["diagnosis_result"]
    result2 = KNN(test)

    if result == result2:
        correct += 1
#输出准确率
print("准确率：{:.2f}%".format(100 * correct / len(test_set)))