机器学习实战笔记（三）：使用k-近邻算法的手写识别系统（Python3 实现）

完整代码及数据地址：https://github.com/cqulun123/Machine-Learning-in-Action

0 使用k-近邻算法的手写识别系统的步骤

(1) 收集数据：提供文本文件。
(2) 准备数据：编写函数classify0()，将图像格式转换为分类器使用的list格式。
(3) 分析数据：在Python命令提示符中检查数据，确保它符合要求。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
(6) 使用算法：本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从图像中提取数字，并完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。

1 准备数据：将图像转换为测试向量

       我们使用目录trainingDigits中的数据训练分类器，使用目录testDigits中的数据测试分类器的效果。，具体数据下载见本文给出的github地址。为了使用前面两个例子的分类器，我们必须将图像格式化处理为一个向量。我们将把一个32×32的二进制图像矩阵转换为1×1024的向量 。具体处理代码如下：

def img_to_vector(filename):
    """
    将图像转换为向量：该函数创建1×1024的NumPy数组，然后打开给定的文件，
    循环读出文件的前32行，并将每行的头32个字符值存储在NumPy数组中，最后返回数组。
    """
    # 创建1×1024的NumPy数组
    return_vect = np.zeros((1, 1024))
    # 打开给定的文件名
    fr = open(filename)
    # 循环读出文件的前32行
    for i in range(32):
        line_str = fr.readline()
        # 将每行的头32个字符值存储在NumPy数组
        for j in range(32):
            return_vect[0, 32 * i + j] = int(line_str[j])
    # 返回数组
    return return_vect

2 测试算法：使用 k-近邻算法识别手写数字

       上节我们已经将数据处理成分类器可以识别的格式，本节我们将这些数据输入到分类器，检测分类器的执行效果。具体处理代码如下：