KNN学习与癌症预测实战

KNN算法小记

  • 一、KNN原理简介
  • 二、KNN算法实现
    • 1.纯python实现
    • 2.sklearn库实现-KNN癌症预测
    • 数据集链接
  • 参考博文


一、KNN原理简介

KNN(k-Nearest Neighbor,K最近邻)分类算法是最简单的分类算法之一。KNN的原理就是当预测一个新的值x的时候,根据它距离最近的K个点是什么类别来判断x属于哪个类别。直接上图。
KNN学习与癌症预测实战_第1张图片
现预测中间绿色正方形的类别,k=3时,其邻居有2个蓝色三角形和1个红色圆形,所以可判断正方形为蓝色三角形类,当k=5时,其邻居包含3个红色圆形和2个三角形,所以可判断正方形为红色圆形类。
计算最近邻居的公式使用欧式距离计算公式
在二维空间计算公式如下
二维
在多维空间公式计算如下:
多维

二、KNN算法实现

1.纯python实现

KNN.py:

#########################################
# kNN 
#  输入:      newInput:  (1xN)的待分类向量
#             dataSet:   (NxM)的训练数据集
#             labels:     训练数据集的类别标签向量
#             k:         近邻数
# 输出:     可能性最大的分类标签
#########################################
from numpy import *
import operator

# 创建一个数据集,包含2个类别共4个样本
def createDataSet():
    # 生成一个矩阵,每行表示一个样本(相当于二维空间的(x,y)坐标)
    group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
    # 4个样本分别所属的类别
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# KNN分类算法函数定义
def kNNClassify(newInput, dataSet, labels, k):
    numSamples = dataSet.shape[0]   # shape[0]表示行数
 	#step 1
    diff = tile(newInput, (numSamples, 1)) - dataSet  # 按元素求差值
    squaredDiff = diff ** 2  # 将差值平方
    squaredDist = sum(squaredDiff, axis = 1)   # 按行累加
    distance = squaredDist ** 0.5  # 将差值平方和求开方,即得距离
 
    # # step 2: 对距离排序
    # argsort() 返回排序后的索引值
    sortedDistIndices = argsort(distance)
    classCount = {} # define a dictionary (can be append element)
    for i in range(k):
        # # step 3: 选择k个最近邻
        voteLabel = labels[sortedDistIndices[i]]
 
        # # step 4: 计算k个最近邻中各类别出现的次数
        classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
 
    # # step 5: 返回出现次数最多的类别标签
    maxCount = 0
    for key, value in classCount.items():
        if value > maxCount:
            maxCount = value
            maxIndex = key
    return maxIndex

KNNTest.py(测试函数):

import KNN
from numpy import *
# 生成数据集和类别标签
dataSet, labels = KNN.createDataSet()
# 定义一个未知类别的数据
testX = array([1.2, 1.0])
k = 3
# 调用分类函数对未知数据分类
outputLabel = KNN.kNNClassify(testX, dataSet, labels, 3)
print("Your input is:", testX, "and classified to class: ",outputLabel)

testX = array([0.1, 0.3])
outputLabel = KNN.kNNClassify(testX, dataSet, labels, 3)
print("Your input is:", testX, "and classified to class: ", outputLabel)

2.sklearn库实现-KNN癌症预测

数据样式(diagnosis_result一列中m表示恶性,b表示良性):
KNN学习与癌症预测实战_第2张图片

代码如下:

import numpy as np
import pandas as pd
from pandas import Series,DataFrame
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

data = pd.read_csv('./KNN_cancer100.csv')
#诊断结果,目标值
y = data['diagnosis_result']
#训练数据,特征,细胞核一系列特征,光滑度,质地等
X = data.iloc[:,2:]

#将数据一分为二
#可以将数据划分,划分之后数据一一对应
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)
print(X_train.shape)
print(X_test.shape)
print(y_train.shape)
print(y_test.shape)
#KNeighborsClassifier是实现K近邻算法的一个类
knn = KNeighborsClassifier()
#将模型使用X_train作为培训数据和y_train作为目标值
knn.fit(X_train,y_train)

#使用算法进行预测
y_ = knn.predict(X_test)
print(y_)

#输出每个预测结果为m恶性或b良性的可能概率
proba_ = knn.predict_proba(X_test)
print(proba_ )

#测试效果输出的两种方式
(y_ == y_test.values).mean()
knn.score(X_test,y_test)

数据集链接

癌症数据集.

参考博文

Blog: KNN分类算法.
Blog: 深入浅出KNN.
Blog: KNN 原理及参数总结.

你可能感兴趣的:(个人学习历程,机器学习)