基于深度学习的手写数字识别项目GUI（Deep Learning Project – Handwritten Digit Recognition using Python）

一步一步教你建立手写数字识别项目，需要源文件的请可直接跳转下边的链接：All project

本文摘要

在本文中，我们将使用MNIST数据集实现一个手写数字识别应用程序。我们将使用一种特殊类型的深度神经网络，即卷积神经网络。最后，我们将构建一个GUI，您可以在其中绘制数字并立即识别它。
实现效果：

运行项目的需求

这个有趣的Python项目要求你具备Python编程的基本知识，使用Keras库和Tkinter库进行深度学习，以构建GUI。

使用下面的命令为这个项目安装必要的库:

pip install numpy, tensorflow, keras, pillow,

MNIST 数据集

这可能是机器学习和深度学习爱好者中最受欢迎的数据集之一。MNIST数据集包含60,000张从0到9的手写数字的训练图像和10,000张用于测试的图像。MNIST数据集有10个不同的类。手写数字图像表示为28×28矩阵，其中每个单元格包含灰度像素值。

建立基于深度学习的手写数字识别项目

以下是实现手写数字识别项目的步骤:

1、导入库并加载数据集

首先，我们将导入训练模型所需的所有模块。Keras库已经包含了一些数据集，MNIST就是其中之一。所以我们可以很容易地导入数据集并开始使用它。mnist.load_data()方法返回训练数据及其标签以及测试数据及其标签。

import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K

# the data, split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()

print(x_train.shape, y_train.shape)

2、处理数据集

图像数据不能直接输入到模型中，所以我们需要对数据进行一些操作和处理，使其为神经网络做好准备。训练数据的维数为(60000,28,28)。CNN模型将需要多一个维度，因此我们将矩阵重塑为形状(60000,28,28,1)。

x_train = x_train.reshape(x_train.shape[0], 28, 28, 1)
x_test = x_test.reshape(x_test.shape[0], 28, 28, 1)
input_shape = (28, 28, 1)

# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

3、建立模型

现在我们将在Python数据科学项目中创建CNN模型。CNN模型通常由卷积层和池化层组成。它对于表示为网格结构的数据效果更好，这就是为什么CNN在图像分类问题上效果很好的原因。dropout层用于使一些神经元失活，在训练时，它减少了模型的拟合。然后，我们将使用Adadelta优化器编译模型。

batch_size = 128
num_classes = 10
epochs = 10

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),activation='relu',input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=keras.losses.categorical_crossentropy,optimizer=keras.optimizers.Adadelta(),metrics=['accuracy'])

4、训练模型

Keras的model.fit()函数将开始模型的训练。它需要训练数据、验证数据、epoch和批大小。

训练模型需要一些时间。训练完成后，我们将权值和模型定义保存在“mnist.h5”文件。

hist = model.fit(x_train, y_train,batch_size=batch_size,epochs=epochs,verbose=1,validation_data=(x_test, y_test))
print("The model has successfully trained")

model.save('mnist.h5')
print("Saving the model as mnist.h5")

5、评估模型

我们的数据集中有10,000张图像，这些图像将用于评估我们的模型工作的好坏。测试数据没有参与数据的训练，因此是我们模型的新数据。MNIST数据集很好地平衡了，所以我们可以得到大约99%的准确率。

score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

6、建立GUI界面预测数字

现在对于GUI，我们已经创建了一个新文件，我们在其中构建了一个交互式窗口，用于在画布上绘制数字，并且通过一个按钮，我们可以识别数字。Tkinter库包含在Python标准库中。我们已经创建了一个函数predict_digit()，它将图像作为输入，然后使用训练好的模型来预测数字。

然后我们创建App类，它负责为我们的应用程序构建GUI。我们创建一个画布，我们可以通过捕获鼠标事件和按钮来绘制，我们触发predict_digit()函数并显示结果。

下面是我们的gui_digit_recognizer.py文件的完整代码:

from keras.models import load_model
from tkinter import *
import tkinter as tk
import win32gui
from PIL import ImageGrab, Image
import numpy as np

model = load_model('mnist.h5')

def predict_digit(img):
    #resize image to 28x28 pixels
    img = img.resize((28,28))
    #convert rgb to grayscale
    img = img.convert('L')
    img = np.array(img)
    #reshaping to support our model input and normalizing
    img = img.reshape(1,28,28,1)
    img = img/255.0
    #predicting the class
    res = model.predict([img])[0]
    return np.argmax(res), max(res)

class App(tk.Tk):
    def __init__(self):
        tk.Tk.__init__(self)

        self.x = self.y = 0

        # Creating elements
        self.canvas = tk.Canvas(self, width=300, height=300, bg = "white", cursor="cross")
        self.label = tk.Label(self, text="Thinking..", font=("Helvetica", 48))
        self.classify_btn = tk.Button(self, text = "Recognise", command =         self.classify_handwriting) 
        self.button_clear = tk.Button(self, text = "Clear", command = self.clear_all)

        # Grid structure
        self.canvas.grid(row=0, column=0, pady=2, sticky=W, )
        self.label.grid(row=0, column=1,pady=2, padx=2)
        self.classify_btn.grid(row=1, column=1, pady=2, padx=2)
        self.button_clear.grid(row=1, column=0, pady=2)

        #self.canvas.bind("", self.start_pos)
        self.canvas.bind("", self.draw_lines)

    def clear_all(self):
        self.canvas.delete("all")

    def classify_handwriting(self):
        HWND = self.canvas.winfo_id() # get the handle of the canvas
        rect = win32gui.GetWindowRect(HWND) # get the coordinate of the canvas
        im = ImageGrab.grab(rect)

        digit, acc = predict_digit(im)
        self.label.configure(text= str(digit)+', '+ str(int(acc*100))+'%')

    def draw_lines(self, event):
        self.x = event.x
        self.y = event.y
        r=8
        self.canvas.create_oval(self.x-r, self.y-r, self.x + r, self.y + r, fill='black')

app = App()
mainloop()

截屏结果

总结

在本文中，我们成功地在手写数字识别应用程序上构建了一个Python深度学习项目。我们构建并训练了卷积神经网络，它对于图像分类非常有效。稍后，我们构建GUI，在画布上绘制数字，然后对数字进行分类并显示结果。