KNN算法实例---手写数字识别

先介绍两个距离公式，欧式距离和夹角余弦。

• 欧式距离：
  欧式距离是最易理解的一种距离计算方法，源自欧式空间中两点间的距离公式（如图1.9）。目的是计算其间的整体距离即不相似性，距离越近就越相似。
  

• 夹角余弦：
  几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异（如图1.10）。
  
  
  夹角余弦取值范围 [ -1，1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。

• 数据准备：
  trainingDigits：训练数据，1934个文件，每个数字大约200个文件。
  testDigits：测试数据，946个文件，每个数字大约100个文件。

• 手写数字识别—Python代码一（夹角余弦）

import numpy as np
from imp import reload
from os import listdir
import operator
import matplotlib.pyplot as plt

#将图像转换成测试向量
def img2vector(filename):
    #创建零向量
    returnVec = np.zeros((1,1024))
    #打开数据文件，读取每行内容
    fr = open(filename,'r')
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVec[0,32*i+j] = int(lineStr[j]) #将每行前32字符转成int存入向量
    return returnVec

#夹角余弦距离公式
def cosdist(vector1,vector2):
    return np.dot(vector1,vector2)/(np.linalg.norm(vector1) * np.linalg.norm(vector2))

#KNN实现分类器---测试集：testdata， 训练集：trainSet，类别标签：labels，k:k个邻居数  
def classify(testdata,trainSet,labels,k):
    dataSetSize = trainSet.shape[0] #返回样本集的行数
    distances = np.array(np.zeros(dataSetSize))
    for indx in range(dataSetSize):   #计算测试集与训练集之间的距离：夹角余弦
        distances[indx] = cosdist(testdata,trainSet[indx])
    #夹角余弦按从大到小排序，结果为索引号
    sortedDistIndicies = np.argsort(-distances)
    classCount = {}
    #获取前k项作为参考项
    for i in range(k):
        #按排序顺序返回样本集对应的类别标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #为字典classCount赋值，相同key,其value加1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #选取出现的类别次数最多的类别
    maxCount = 0
    for key,value in classCount.items():
        if value > maxCount :
            maxCount = value
            classes = key
    return classes

def handwritingClassTest():
    #样本数据标签
    hwLabels = []
    #读取样本数据文件
    trainingFileList = listdir(r'E:\python\KNNData\trainingDigits') #读取txt文件名称
    m = len(trainingFileList)
    #零矩阵
    trainingMat = np.zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        #将样本数据存入矩阵
        trainingMat[i,:] = img2vector(r'E:\python\KNNData\trainingDigits\%s' % fileNameStr)

    #读取测试数据
    testFileList = listdir(r'E:\python\KNNData\testDigits')
    errorCount = 0.0  #错误率
    mTest = len(testFileList)

    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        #读取数据向量
        vectorUnderTest = img2vector(r'E:\python\KNNData\testDigits\%s' % fileNameStr)
        classifierResult = classify(vectorUnderTest,trainingMat,hwLabels,1) #测试数据分类
        print('KNN算法的分类结果：%d  ,  真实结果：%d' % (classifierResult,classNumStr))
        if(classifierResult != classNumStr): errorCount += 1.0
    print('k = 1')
    print('错误次数：%d' % errorCount)
    print('错误率：%f' % (errorCount/float(mTest))) 
    return hwLabels

labels = handwritingClassTest()
print('labels:',set(labels))

• 代码二（欧式距离）

import numpy as np
from imp import reload
from os import listdir
import operator

#将图像转换成测试向量
def img2vector(filename):
    #创建向量
    returnVec = np.zeros((1,1024))
    #打开数据文件，读取每行内容
    fr = open(filename,'r')
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVec[0,32*i+j] = int(lineStr[j]) #将每行前32字符转成int存入向量
    return returnVec

#KNN实现分类器---测试集：testdata， 训练集：trainSet，类别标签：labels，k:k个邻居数  
def classify(testdata,trainSet,labels,k):
    dataSetSize = trainSet.shape[0] #返回样本集的行数
    #计算测试集与训练集之间的距离：欧式距离
    diffMat = np.tile(testdata,(dataSetSize,1))- trainSet   
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    #距离从低到高排序
    sortedDistIndicies = distances.argsort()
    classCount = {}
    #获取前k项作为参考项
    for i in range(k):
        #按排序顺序返回样本集对应的类别标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #为字典classCount赋值，相同key,其value加1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    #选取出现的类别次数最多的类别
    maxCount = 0
    for key,value in classCount.items():
        if value > maxCount :
            maxCount = value
            classes = key
    return classes

def handwritingClassTest():
    #样本数据标签
    hwLabels = []
    #样本数据文件
    trainingFileList = listdir(r'E:\python\KNNData\trainingDigits')
    m = len(trainingFileList)
    trainingMat = np.zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        #将样本数据存入矩阵
        trainingMat[i,:] = img2vector(r'E:\python\KNNData\trainingDigits\%s' % fileNameStr)
    #读取测试数据
    testFileList = listdir(r'E:\python\KNNData\testDigits')
    errorCount = 0.0  #错误率
    mTest = len(testFileList)

    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        #读取数据向量
        vectorUnderTest = img2vector(r'E:\python\KNNData\testDigits\%s' % fileNameStr)
        classifierResult = classify(vectorUnderTest,trainingMat,hwLabels,3) #测试数据分类
        print('KNN算法的分类结果：%d  ,  真实结果：%d' % (classifierResult,classNumStr))
        if(classifierResult != classNumStr): errorCount += 1.0
    print('k = 3')
    print('错误次数：%d' % errorCount)
    print('错误率：%f' % (errorCount/float(mTest)))

handwritingClassTest()

先导篇–KNN算法介绍