基于SVM和KNN的手写数字的识别（分类）——小试牛刀篇

数据下载地址：http://download.csdn.net/detail/zhulf0804/9719836

下面分别采用的是k近邻算法（KNN）和SVM实现的手写数字识别。

python实现代码：

# -*- coding: utf-8 -*-
import os
import numpy as np

def img2vector(filename, label): #图像数据转为向量
    f = open(filename,'r')
    row_data = f.read()
    row_data = row_data.replace('\n','')  #换行符转为空格
    row_data = row_data + label
    row_data = np.array(map(int, list(row_data)))  #将string转为np.array
    return row_data

#k紧邻(KNN)分类算法
def classify0(rowX, dataSet, k): 
    '''
    rowX是待分类的向量, dataSet是标记好的训练集, k表示选择最近邻居的数目
    '''
    #距离计算：绝对值距离
    dataSetSize = dataSet.shape[0]
    #print dataSetSize
    rowMat = np.zeros((dataSetSize, 1025), np.int)
    for i in range(dataSetSize):
        rowMat[i] = rowX
    diffMat = rowMat - dataSet
    label0 = dataSet[:,1024]         #取出训练集label
    diffMat2 = diffMat[:,0:1024]    #差分矩阵去除label列
    diffMat3 = diffMat2**2  #差分矩阵的平方，即是绝对值
    dis = diffMat3.sum(axis = 1)  #沿行求和，即是该待分类向量与训练集中每条数据的距离
    
    #选择距离最小的k个点
    sortedIndice = dis.argsort()
    #print sortedIndice
    vote_label = np.zeros((1,10), np.int)
     
    for i in range(k):
        label= label0[sortedIndice[i]] #获取第i小距离的label
        vote_label[0,label] = vote_label[0,label] + 1
    sorted_vote = vote_label.argsort()
    #print sorted_vote
    return sorted_vote[0,9]
    
    
    
#将训练集数据存储到np数组train_data中
train_dir = 'trainingDigits\\'   
train_filename = os.listdir(train_dir)  #获取trainingDigits目录下的文件名
m = len(train_filename)
train_data = np.zeros((m,1025), np.int)
for i in range(0, m):
    label = train_filename[i].split('_')[0]
    row = img2vector(train_dir +  train_filename[i], label)
    train_data[i] = row

#将测试集数据存储到np数组test_data中
test_dir = 'testDigits\\'   
test_filename = os.listdir(test_dir)  #获取trainingDigits目录下的文件名
m = len(test_filename)
test_data = np.zeros((m,1025), np.int)
test_result = np.zeros((m,1),np.int)
for i in range(0, m):
    label = test_filename[i].split('_')[0]
    test_result[i] = int(label)  #存储测试集正确的分类
    row = img2vector(test_dir +  test_filename[i], '0')   #测试集初始分类设置为0
    test_data[i] = row

cc = 0

for i in range(m):
    ll = classify0(test_data[i], train_data, 5)
    #print ll,test_result[i]
    if ll == test_result[i]:
        cc = cc + 1
    else:
        print i,ll,test_result[i]
    
print '正确率是：%f' %(float(cc)/float(m))

    
    

运行结果如下图：

输出的每一行表示分类错误的数据，每一行的第1列是测试集的id，第2列是KNN算法分类的结果，第三列是正确的分类结果。

svm实现手写字体分类，代码如下：

# -*- coding: utf-8 -*-
import os
from sklearn import svm

def img2vector(filename): #图像数据转为list
    f = open(filename,'r')
    row_data = f.read()
    row_data = row_data.replace('\n','')  #换行符转为空格
    row_data = list(row_data)
    for i in range(len(row_data)):
        row_data[i] = int(row_data[i])
    return row_data

train_dir = 'trainingDigits\\'   
train_filename = os.listdir(train_dir)  #获取trainingDigits目录下的文件名
m = len(train_filename)

X = []
Y = []
for i in range(0, m):
    label = train_filename[i].split('_')[0]
    Y.append(int(label))
    row = img2vector(train_dir +  train_filename[i])
    X.append( row )

clf = svm.SVC(decision_function_shape='ovo')
clf.fit(X, Y) 

test_dir = 'testDigits\\'   
test_filename = os.listdir(test_dir)  #获取trainingDigits目录下的文件名
m = len(test_filename)
X_test = []
Y_test = []

for i in range(0, m):
    label = test_filename[i].split('_')[0]
    Y_test.append(int(label))  #存储测试集正确的分类
    row = img2vector(test_dir +  test_filename[i])   
    X_test.append(row)
ans = clf.predict(X_test)

cc = 0
ll = len(ans)
for i in range(ll):
    if Y_test[i] == ans[i]:
        cc +=1
    else:
        print "分错的文件为%s,被分类为%d" %(test_filename[i],ans[i])

print '正确率是：%f' % (1.0*cc/ll)

运行结果：

参考资料：

1、机器学习实战

2、http://scikit-learn.org/stable/modules/svm.html#svm