import numpy as np
import operator
from os import listdir
def CerateDataSet():
group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels
import operator
from os import listdir
def CerateDataSet():
group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels
def classify0(inX,dataSet,labels,k):
#inX是用于分类的输入向量
dataSetSize = dataSet.shape[0] #输入的训练样本集是dataSet,标签向量为labels
diffMat = np.tile(inX,(dataSetSize,1)) - dataSet #最后的参数k表示用于选择最近邻居的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
dataSetSize = dataSet.shape[0] #输入的训练样本集是dataSet,标签向量为labels
diffMat = np.tile(inX,(dataSetSize,1)) - dataSet #最后的参数k表示用于选择最近邻居的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
def file2matrix(filename):
#将文本记录转换Numpy的解析程序
fr = open(filename) #1.打开文件读取文件行数
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines)
returnMat = np.zeros((numberOfLines,3)) #创建返回numpy的矩阵
classLabelVector = []
index = 0
for line in arrayOLines: #解析文件数据到列表
line = line.strip() #这一步将‘\\n'(空行)转换为''，截取掉所有的回车字符
listFromLine = line.split('\t') #然后使用tab字符\t将上一步得到的整行数据分割成一个元素列表
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
def autoNorm(dataSet): #这个步骤是因为海伦希望三个因素对约会系数计算相等，将数字特征转化为0到1区间
minVals = dataSet.min(0) #将每列的最小值放在minVals中
maxVals = dataSet.max(0) #将每列的最大值放在minVals中
ranges = maxVals - minVals #计算范围
normDataSet = np.zeros(np.shape(dataSet)) #创建矩阵
m = dataSet.shape[0]
normDataSet = dataSet -np.tile(minVals,(m,1)) #numpy中的tile()函数将变量内容复制成输入矩阵同样大小的矩阵
normDataSet = normDataSet/np.tile(ranges,(m,1)) #注意这是具体特征值相除
return normDataSet, ranges, minVals
fr = open(filename) #1.打开文件读取文件行数
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines)
returnMat = np.zeros((numberOfLines,3)) #创建返回numpy的矩阵
classLabelVector = []
index = 0
for line in arrayOLines: #解析文件数据到列表
line = line.strip() #这一步将‘\\n'(空行)转换为''，截取掉所有的回车字符
listFromLine = line.split('\t') #然后使用tab字符\t将上一步得到的整行数据分割成一个元素列表
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
def autoNorm(dataSet): #这个步骤是因为海伦希望三个因素对约会系数计算相等，将数字特征转化为0到1区间
minVals = dataSet.min(0) #将每列的最小值放在minVals中
maxVals = dataSet.max(0) #将每列的最大值放在minVals中
ranges = maxVals - minVals #计算范围
normDataSet = np.zeros(np.shape(dataSet)) #创建矩阵
m = dataSet.shape[0]
normDataSet = dataSet -np.tile(minVals,(m,1)) #numpy中的tile()函数将变量内容复制成输入矩阵同样大小的矩阵
normDataSet = normDataSet/np.tile(ranges,(m,1)) #注意这是具体特征值相除
return normDataSet, ranges, minVals
def datingClassTest():
#为了测试分类器的工作效率
hoRatio = 0.10 #测试数据所占据比重
datingDataMat,datingLabels = file2matrix('C:\\Users\\dzy520\\Desktop\\datingTestSet2.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio) #计算那些用于训练样本那些用于测试
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],\
datingLabels[numTestVecs:m],3)
print ("the classifier came back with:%d,the real answer is:%d" %(classifierResult,datingLabels[i]))
if(classifierResult !=datingLabels[i]):errorCount+=1.0
print("the total error rate is:%f" %(errorCount/float(numTestVecs)))
def classifyPerson(): #约会网站预测函数，即输入网上的数值测试符合海伦对象的函数
resultList = ['not at all','in small doses','in large doses'] #三种情况，不喜欢，一般，喜欢
percentTats = float(input("percentage oftime spent playing video games?")) #输入玩游戏的占比
ffMiles = float(input("frequent flier miles earned per year?")) #输入旅行距离的占比
iceCream = float(input("liters of ice cream consumed per year?")) #输入吃冰激凌的数量
datingDataMat,datingLabels = file2matrix('C:\\Users\\dzy520\\Desktop\\datingTestSet2.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
inArr = np.array([ffMiles,percentTats,iceCream]) #将上面三个数据整合成numpy数组
classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3) #计算是否符合
print("You will probably like this person:",resultList[classifierResult - 1])
#接下来的是手写识别系统
def img2vector(filename): #此函数是为了把图像格式化处理为一个向量。把一个32*32的矩阵转化为1*1024的向量
returnVect = np.zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline() #读取每一行
for j in range(32): #读取每一行的每个数据
returnVect[0,32*i+j] = int(lineStr[j]) #将0或者1赋上去
return returnVect
hoRatio = 0.10 #测试数据所占据比重
datingDataMat,datingLabels = file2matrix('C:\\Users\\dzy520\\Desktop\\datingTestSet2.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio) #计算那些用于训练样本那些用于测试
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],\
datingLabels[numTestVecs:m],3)
print ("the classifier came back with:%d,the real answer is:%d" %(classifierResult,datingLabels[i]))
if(classifierResult !=datingLabels[i]):errorCount+=1.0
print("the total error rate is:%f" %(errorCount/float(numTestVecs)))
def classifyPerson(): #约会网站预测函数，即输入网上的数值测试符合海伦对象的函数
resultList = ['not at all','in small doses','in large doses'] #三种情况，不喜欢，一般，喜欢
percentTats = float(input("percentage oftime spent playing video games?")) #输入玩游戏的占比
ffMiles = float(input("frequent flier miles earned per year?")) #输入旅行距离的占比
iceCream = float(input("liters of ice cream consumed per year?")) #输入吃冰激凌的数量
datingDataMat,datingLabels = file2matrix('C:\\Users\\dzy520\\Desktop\\datingTestSet2.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
inArr = np.array([ffMiles,percentTats,iceCream]) #将上面三个数据整合成numpy数组
classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3) #计算是否符合
print("You will probably like this person:",resultList[classifierResult - 1])
#接下来的是手写识别系统
def img2vector(filename): #此函数是为了把图像格式化处理为一个向量。把一个32*32的矩阵转化为1*1024的向量
returnVect = np.zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline() #读取每一行
for j in range(32): #读取每一行的每个数据
returnVect[0,32*i+j] = int(lineStr[j]) #将0或者1赋上去
return returnVect
def handwritingClassTest():
hwLabels = [] #标签空列表
trainingFileList = listdir(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\trainingDigits')
m = len(trainingFileList)
trainingMat = np.zeros((m,1024)) #创建m行1024列训练矩阵，每行数据存储一个图像
for i in range(m):
fileNameStr = trainingFileList[i] #获取标签，也就是获取这个数字是几
fileStr = fileNameStr.split('.')[0] #对文件名进行分割。就是2_45.txt，从 . 那个地方开始分割文件名，就得到2_45和txt两部分,[0]是取前面部分
classNumStr = int(fileStr.split('_')[0]) #再对上步骤处理好的前面部分再从 _ 这里分割，取前面数字
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\trainingDigits/%s' %fileNameStr) #将fileNameStr所对应的数据写到trainingMat这个矩阵的第i行
testFileList = listdir(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\testDigits')
errorCount = 0.0 #初始化错误率为0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #对测试数据进行分割
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\testDigits/%s' %fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3) #由于数据已经是0到1之间所以不需要用上面的autoNorm函数，这个步骤是为了，计算找到最相近的3个即最 开始函数的原理返回发生最多的标签
print("the classifier came back with:%d,the real answer is %d" %(classifierResult,classNumStr))
if (classifierResult != classNumStr):
errorCount += 1.0
print("\nthe total number of errors is:%d"%errorCount)
print("\nthe total error rate is: %f"%(errorCount/float(mTest)))
hwLabels = [] #标签空列表
trainingFileList = listdir(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\trainingDigits')
m = len(trainingFileList)
trainingMat = np.zeros((m,1024)) #创建m行1024列训练矩阵，每行数据存储一个图像
for i in range(m):
fileNameStr = trainingFileList[i] #获取标签，也就是获取这个数字是几
fileStr = fileNameStr.split('.')[0] #对文件名进行分割。就是2_45.txt，从 . 那个地方开始分割文件名，就得到2_45和txt两部分,[0]是取前面部分
classNumStr = int(fileStr.split('_')[0]) #再对上步骤处理好的前面部分再从 _ 这里分割，取前面数字
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\trainingDigits/%s' %fileNameStr) #将fileNameStr所对应的数据写到trainingMat这个矩阵的第i行
testFileList = listdir(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\testDigits')
errorCount = 0.0 #初始化错误率为0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #对测试数据进行分割
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector(r'C:\Users\dzy520\Desktop\machinelearninginaction\Ch02\testDigits/%s' %fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3) #由于数据已经是0到1之间所以不需要用上面的autoNorm函数，这个步骤是为了，计算找到最相近的3个即最 开始函数的原理返回发生最多的标签
print("the classifier came back with:%d,the real answer is %d" %(classifierResult,classNumStr))
if (classifierResult != classNumStr):
errorCount += 1.0
print("\nthe total number of errors is:%d"%errorCount)
print("\nthe total error rate is: %f"%(errorCount/float(mTest)))
温馨提示：这里文件的路径是我机器上的，大家注意路径名，奥利给！
以上所需文件大家自行下载，嘿嘿嘿~~