机器学习实战（1）--KNN --约会网站



示例：在约会网站上使用k近邻算法

(1)收集数据：提供文本文件。

(2)准备数据: 使用python解析文本文件。

(3)分析数据：使用Matplotlib画二维扩散图。

(4)训练算法：此步驟不适用于k近邻算法。

(5)测试算法：使用海伦提供的部分数据作为测试样本。

测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。

(6)使用算法：产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。

准备数据：从文本文件中解析数据

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import numpy as np
import operator
from openpyxl.chart.label import DataLabel

def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOfLines = fr.readlines()
    #文件行数
    numberOfLines = len(arrayOfLines)
    #创建特征矩阵
    returnMat = np.zeros((numberOfLines,3))
    #创建标签数组
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #移除字符串头尾空格
        line = line.strip()
        #按'\t'切片
        listFromLine = line.split('\t')
        #把特征存放到特征矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #标签分类并存放到标签数组
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

if __name__=='__main__':
    dataMat, DataLabel = file2matrix('datingTestSet.txt')
    print(dataMat)
    print(DataLabel)
    

分析数据：使用使用Matplotlib画二维扩散图

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import numpy as np
import operator
from openpyxl.chart.label import DataLabel
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
import matplotlib.lines as mlines
from IPython.core.pylabtools import figsize

def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOfLines = fr.readlines()
    #文件行数
    numberOfLines = len(arrayOfLines)
    #创建特征矩阵
    returnMat = np.zeros((numberOfLines,3))
    #创建标签数组
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #移除字符串头尾空格
        line = line.strip()
        #按'\t'切片
        listFromLine = line.split('\t')
        #把特征存放到特征矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #标签分类并存放到标签数组
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

def showDatas(dataMat, dataLabel):
    #把画布分成4块，即2行2列，并设置画布大小
    fig, axs = plt.subplots(nrows=2, ncols=2,figsize=(12,8))
    #用matplotlib画图后，如果要添加汉字标签，比如设置汉字格式
    font = FontProperties(fname=r"c:\Windows\Fonts\simsun.ttc", size=15)
    #创建标签数组
    labelColors = []
    #给不同的标签设置不同颜色
    for i in dataLabel:
        if 1 == i:
            labelColors.append('red')
        if 2 == i:
            labelColors.append('black')
        if 3 == i:
            labelColors.append('green')
    #给子图设置散列点，散列点颜色、大小
    axs[0][0].scatter(dataMat[:,0],dataMat[:,1],c=labelColors,s=5)
    axs[0][1].scatter(dataMat[:,0],dataMat[:,2],c=labelColors,s=5)
    axs[1][0].scatter(dataMat[:,1],dataMat[:,2],c=labelColors,s=5)
    #给子图设置标题
    axs[0][0].set_title('每年获得的飞行常客里程数与玩视频游戏所消耗时间的比',FontProperties=font)
    axs[0][1].set_title('每年获得的飞行常客里程数与每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_title('玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',FontProperties=font)
    #子图的X轴标题
    axs[0][0].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[0][1].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[1][0].set_xlabel('玩视频游戏所耗时间百分比',FontProperties=font)
    #子图的Y轴标题
    axs[0][0].set_ylabel('玩视频游戏所耗时间百分比',FontProperties=font)
    axs[0][1].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)   
    #图例设置
    didntLike = mlines.Line2D([], [], color='black', marker='.',markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',markersize=6, label='largeDoses')
    #添加图例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #紧凑显示图片，居中显示，保证各子图的标签和标题不会互相覆盖
    plt.tight_layout()
    #显示图片
    plt.show()

if __name__=='__main__':
    dataMat, DataLabel = file2matrix('datingTestSet.txt')
    showDatas(dataMat,DataLabel)
    

准备数据：归一化数值

我们很容易发现，上面方程中数字差值最大的属性对计算结果的影响最大，也就是说，每年获取的飞行常客里程数对于计算结果的影响将远远大于其他两个特征— 玩视频游戏的和每周消费冰洪淋公升数— 的影响。而产生这种现象的唯一原因，仅仅是因为飞行常客里程数远大于其他特征值。但海伦认为这三种特征是同等重要的，因此作为三个等权重的特征之一，飞行常客里程数并不应该如此严重地影响到计算结果。

在处理这种不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。可以用欧拉公式计算。

newValue = (oldValue - min) / (max - min)

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import numpy as np
import operator
from openpyxl.chart.label import DataLabel
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
import matplotlib.lines as mlines
from IPython.core.pylabtools import figsize

def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOfLines = fr.readlines()
    #文件行数
    numberOfLines = len(arrayOfLines)
    #创建特征矩阵
    returnMat = np.zeros((numberOfLines,3))
    #创建标签数组
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #移除字符串头尾空格
        line = line.strip()
        #按'\t'切片
        listFromLine = line.split('\t')
        #把特征存放到特征矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #标签分类并存放到标签数组
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

def showDatas(dataMat, dataLabel):
    #把画布分成4块，即2行2列，并设置画布大小
    fig, axs = plt.subplots(nrows=2, ncols=2,figsize=(12,8))
    #用matplotlib画图后，如果要添加汉字标签，比如设置汉字格式
    font = FontProperties(fname=r"c:\Windows\Fonts\simsun.ttc", size=15)
    #创建标签数组
    labelColors = []
    #给不同的标签设置不同颜色
    for i in dataLabel:
        if 1 == i:
            labelColors.append('red')
        if 2 == i:
            labelColors.append('black')
        if 3 == i:
            labelColors.append('green')
    #给子图设置散列点，散列点颜色、大小
    axs[0][0].scatter(dataMat[:,0],dataMat[:,1],c=labelColors,s=5)
    axs[0][1].scatter(dataMat[:,0],dataMat[:,2],c=labelColors,s=5)
    axs[1][0].scatter(dataMat[:,1],dataMat[:,2],c=labelColors,s=5)
    #给子图设置标题
    axs[0][0].set_title('每年获得的飞行常客里程数与玩视频游戏所消耗时间的比',FontProperties=font)
    axs[0][1].set_title('每年获得的飞行常客里程数与每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_title('玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',FontProperties=font)
    #子图的X轴标题
    axs[0][0].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[0][1].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[1][0].set_xlabel('玩视频游戏所耗时间百分比',FontProperties=font)
    #子图的Y轴标题
    axs[0][0].set_ylabel('玩视频游戏所耗时间百分比',FontProperties=font)
    axs[0][1].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)   
    #图例设置
    didntLike = mlines.Line2D([], [], color='black', marker='.',markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',markersize=6, label='largeDoses')
    #添加图例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #紧凑显示图片，居中显示，保证各子图的标签和标题不会互相覆盖
    plt.tight_layout()
    #显示图片
    plt.show()
    
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最小值和最大值的差
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值
    normDataSet = dataSet - np.tile(minVals, (m,1))
    #除以最大值和最小值的差，得到的归一化的数据
    normDataSet = normDataSet / np.tile(ranges,(m,1))
    return normDataSet, ranges, minVals

if __name__=='__main__':
    dataMat, DataLabel = file2matrix('datingTestSet.txt')
    nornMat, ranges, minVals = autoNorm(dataMat)
    print(nornMat)
    print(ranges)
    print(minVals)
    

测试算法：作为完整程序验证分类器

我们巳经将数据按照需求做了处理，现在我们将测试分类器的效果，如果分类器的正确率满足要求，海伦就可以使用这个软件来处理约会网站提供的约会名单了。机器学习算法一个很重要的工作就是评估算法的正确率，通常我们只提供已有数据的90%作为训练样本来训练分类器，而使用其余的10%数据去测试分类器，检测分类器的正确率。关于选取测试样本有很多方法，这里我们还是采用最原始的做法。需要注意的是，10%的测试数据应该是随机选择的，由于海伦提供的数据并没有按照特定目的来排序，所以我们可以随意选择10%数据而不影响其随机性

前面我们巳经提到可以使用错误率来检测分类器的性能。对于分类器来说，错误率就是分类器给出错误结果的次数除以测试数据的总数，完美分类器的错误率为0，而错误率为1.0的分类器不会给出任何正确的分类结果。代码里我们定义一个计数器变量，每次分类器错误地分类数据，计数器就加1, 程序执行完成之后计数器的结果除以数据点总数即是错误率。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import numpy as np
import operator
from openpyxl.chart.label import DataLabel
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
import matplotlib.lines as mlines
from IPython.core.pylabtools import figsize

def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOfLines = fr.readlines()
    #文件行数
    numberOfLines = len(arrayOfLines)
    #创建特征矩阵
    returnMat = np.zeros((numberOfLines,3))
    #创建标签数组
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #移除字符串头尾空格
        line = line.strip()
        #按'\t'切片
        listFromLine = line.split('\t')
        #把特征存放到特征矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #标签分类并存放到标签数组
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

def showDatas(dataMat, dataLabel):
    #把画布分成4块，即2行2列，并设置画布大小
    fig, axs = plt.subplots(nrows=2, ncols=2,figsize=(12,8))
    #用matplotlib画图后，如果要添加汉字标签，比如设置汉字格式
    font = FontProperties(fname=r"c:\Windows\Fonts\simsun.ttc", size=15)
    #创建标签数组
    labelColors = []
    #给不同的标签设置不同颜色
    for i in dataLabel:
        if 1 == i:
            labelColors.append('red')
        if 2 == i:
            labelColors.append('black')
        if 3 == i:
            labelColors.append('green')
    #给子图设置散列点，散列点颜色、大小
    axs[0][0].scatter(dataMat[:,0],dataMat[:,1],c=labelColors,s=5)
    axs[0][1].scatter(dataMat[:,0],dataMat[:,2],c=labelColors,s=5)
    axs[1][0].scatter(dataMat[:,1],dataMat[:,2],c=labelColors,s=5)
    #给子图设置标题
    axs[0][0].set_title('每年获得的飞行常客里程数与玩视频游戏所消耗时间的比',FontProperties=font)
    axs[0][1].set_title('每年获得的飞行常客里程数与每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_title('玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',FontProperties=font)
    #子图的X轴标题
    axs[0][0].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[0][1].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[1][0].set_xlabel('玩视频游戏所耗时间百分比',FontProperties=font)
    #子图的Y轴标题
    axs[0][0].set_ylabel('玩视频游戏所耗时间百分比',FontProperties=font)
    axs[0][1].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)   
    #图例设置
    didntLike = mlines.Line2D([], [], color='black', marker='.',markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',markersize=6, label='largeDoses')
    #添加图例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #紧凑显示图片，居中显示，保证各子图的标签和标题不会互相覆盖
    plt.tight_layout()
    #显示图片
    plt.show()
    
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最小值和最大值的差
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值
    normDataSet = dataSet - np.tile(minVals, (m,1))
    #除以最大值和最小值的差，得到的归一化的数据
    normDataSet = normDataSet / np.tile(ranges,(m,1))
    return normDataSet, ranges, minVals

def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances = sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]

def datingClassTest():
    #打开的文件名
    filename = "datingTestSet.txt"
    #特征向量和标签数组
    datingDataMat, datingLabels = file2matrix(filename)
    #取所有数据的百分之十
    hoRatio = 0.10
    #数据归一化,返回归一化后的矩阵,数据范围,数据最小值
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #获得normMat的行数
    m = normMat.shape[0]
    #百分之十的测试数据的个数
    numTestVecs = int(m * hoRatio)
    #分类错误计数
    errorCount = 0.0

    for i in range(numTestVecs):
        #前面的numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],
            datingLabels[numTestVecs:m], 3)
        print("分类结果:%d\t真实类别:%d" % (classifierResult, datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("错误率:%f%%" %(errorCount/float(numTestVecs)*100))


if __name__=='__main__':
    #dataMat, DataLabel = file2matrix('datingTestSet.txt')
    #nornMat, ranges, minVals = autoNorm(dataMat)
    datingClassTest()
    

使用算法：构建完整可用系统

上面我们已经在数据上对分类器进行了测试，现在终于可以使用这个分类器为海伦来对人们分类。我们会给海伦一小段程序，通过该程序海伦会在约会网站上找到某个人并输入他的信息。程序会给出她对对方喜欢程度的预测值。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import numpy as np
import operator
from openpyxl.chart.label import DataLabel
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
import matplotlib.lines as mlines
from IPython.core.pylabtools import figsize
from click._compat import raw_input

def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOfLines = fr.readlines()
    #文件行数
    numberOfLines = len(arrayOfLines)
    #创建特征矩阵
    returnMat = np.zeros((numberOfLines,3))
    #创建标签数组
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #移除字符串头尾空格
        line = line.strip()
        #按'\t'切片
        listFromLine = line.split('\t')
        #把特征存放到特征矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #标签分类并存放到标签数组
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

def showDatas(dataMat, dataLabel):
    #把画布分成4块，即2行2列，并设置画布大小
    fig, axs = plt.subplots(nrows=2, ncols=2,figsize=(12,8))
    #用matplotlib画图后，如果要添加汉字标签，比如设置汉字格式
    font = FontProperties(fname=r"c:\Windows\Fonts\simsun.ttc", size=15)
    #创建标签数组
    labelColors = []
    #给不同的标签设置不同颜色
    for i in dataLabel:
        if 1 == i:
            labelColors.append('red')
        if 2 == i:
            labelColors.append('black')
        if 3 == i:
            labelColors.append('green')
    #给子图设置散列点，散列点颜色、大小
    axs[0][0].scatter(dataMat[:,0],dataMat[:,1],c=labelColors,s=5)
    axs[0][1].scatter(dataMat[:,0],dataMat[:,2],c=labelColors,s=5)
    axs[1][0].scatter(dataMat[:,1],dataMat[:,2],c=labelColors,s=5)
    #给子图设置标题
    axs[0][0].set_title('每年获得的飞行常客里程数与玩视频游戏所消耗时间的比',FontProperties=font)
    axs[0][1].set_title('每年获得的飞行常客里程数与每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_title('玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',FontProperties=font)
    #子图的X轴标题
    axs[0][0].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[0][1].set_xlabel('每年获得的飞行常客里程数',FontProperties=font)
    axs[1][0].set_xlabel('玩视频游戏所耗时间百分比',FontProperties=font)
    #子图的Y轴标题
    axs[0][0].set_ylabel('玩视频游戏所耗时间百分比',FontProperties=font)
    axs[0][1].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)
    axs[1][0].set_ylabel('每周消费的冰激淋公升数',FontProperties=font)   
    #图例设置
    didntLike = mlines.Line2D([], [], color='black', marker='.',markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',markersize=6, label='largeDoses')
    #添加图例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #紧凑显示图片，居中显示，保证各子图的标签和标题不会互相覆盖
    plt.tight_layout()
    #显示图片
    plt.show()
    
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最小值和最大值的差
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值
    normDataSet = dataSet - np.tile(minVals, (m,1))
    #除以最大值和最小值的差，得到的归一化的数据
    normDataSet = normDataSet / np.tile(ranges,(m,1))
    return normDataSet, ranges, minVals

def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances = sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]

def datingClassTest():
    #打开的文件名
    filename = "datingTestSet.txt"
    #特征向量和标签数组
    datingDataMat, datingLabels = file2matrix(filename)
    #取所有数据的百分之十
    hoRatio = 0.10
    #数据归一化,返回归一化后的矩阵,数据范围,数据最小值
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #获得normMat的行数
    m = normMat.shape[0]
    #百分之十的测试数据的个数
    numTestVecs = int(m * hoRatio)
    #分类错误计数
    errorCount = 0.0

    for i in range(numTestVecs):
        #前面的numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],
            datingLabels[numTestVecs:m], 3)
        print("分类结果:%d\t真实类别:%d" % (classifierResult, datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("错误率:%f%%" %(errorCount/float(numTestVecs)*100))

def classifyPerson():
    #输出结果列表
    resultList = ['not at all','in small doses','in large doses']
    #输入特征
    percentTats = float(input('game：'))
    ffMiles = float(input('fly：'))
    iceCream = float(input('iceCream：'))
    #打开的文件名
    filename = "datingTestSet.txt"
    #打开并处理数据
    datingDataMat, datingLabels = file2matrix(filename)
    #训练集归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #生成NumPy数组,测试集
    inArr = np.array([percentTats, ffMiles, iceCream])
    #测试集归一化
    norminArr = (inArr - minVals) / ranges
    #返回分类结果
    classifierResult = classify0(norminArr, normMat, datingLabels, 3)
    #打印结果
    print("you %s the people" % (resultList[classifierResult-1]))


if __name__=='__main__':
    classifyPerson()