OpenCV48:使用KNN完成OCR手写体识别

目标

在本章中，将学习

• 使用kNN来构建基本的OCR应用程
• 使用OpenCV自带的数字和字母数据集

手写数字的OCR

目标是构建一个可以读取手写数字的应用程序。为此，需要一些 train_data 和test_data 。OpenCV git项目中有一个图片 digits.png （opencv/samples/data/ 中），其中包含 5000 个手写数字（每个数字500个），每个数字都是尺寸大小为 20x20 的图像。

因此，第一步是将上面这张图像分割成 5000 （500*10）个不同的数字。对于每个数字，将其展平为 400 像素的一行，这就是训练集，即所有像素的强度值。这个是可以创建的最简单的特征集合。将每个数字的前 250个样本用作训练集train_data ，然后将 250 个样本用作 测试集test_data 。

import cv2
import numpy as np

img = cv2.imread('digits.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Now we split the image to 5000 cells, each 20x20 size
cells = [np.hsplit(row, 100) for row in np.vsplit(gray, 50)]

# Make it into a numpy array: its size will be (50, 100, 20, 20)
x = np.array(cells)

# Now we prepare the training data and test data
train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400)

# Create labels for train and test data
k = np.arange(10)
train_labels = np.repeat(k, 250)[:, np.newaxis]
test_labels = train_labels.copy()

# Initiate kNN, train it on the training data, then test it with the test data with k=1
knn = cv2.ml.KNearest_create()
knn.train(train, cv2.ml.ROW_SAMPLE, train_labels)
ret, result, neighbours, dist = knn.findNearest(test, k=5)

# Now we check the accuracy of classification
# For that, compare the result with test_labels and check which are wrong
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct * 100.0/result.size
print( accuracy )  # 91.76

可以看到，上述构建了一个基础的数字手写体OCR应用程序已准备就绪。在这个特定的例子中的准确度是91.76％。

提高准确度方法：

• 一种提高准确性的选择是添加更多数据进行训练，尤其是错误的数据。

• 另外一种是更换更优的算法

本文中，每次启动应用程序时都找不到该训练数据，不如将其保存，以便下次直接从文件中读取此数据并开始分类。可以借助一些Numpy函数（例如np.savetxt，np.savez，np.load等）来完成此操作。

# Save the data
np.savez('knn_dight_data.npz', train=train, train_labels=train_labels)

# Now load the data
whit np.load('knn_data.npz') as data:
    print(data.files)
    train = data['train']
    train_labels = data['train_labels']

在windows系统下，大约需要大约 3.82 MB 的内存。由于仅使用强度值（uint8数据）作为特征，如果需要考虑内存的问题时候，可以先将数据转换为 np.uint8 ，然后再将其保存。在这种情况下，仅占用 0.98MB 。然后在加载时，可以转换回 float32 。

train_uint8 = train.astype(np.uint8)
train_labels_uint8 = train_labels.astype(np.uint8)
np.savez('knn_dight_data_int8.npz', train=train_uint8, train_labels=train_labels_uint8)

也可以用来预测单个数字

# 取测试集中的一个元素
single_data = testData[0].reshape(-1, 400)
single_label = labels[0]

ret, result, neighbours, dist = knn.findNearest(data, k=5)
print(result)  # [[0]]
print(label)   # [[0.]]
print(result==label)  # True

英文字母的OCR

接下来，对英语字母执行相同的操作，但是数据和特征集会稍有变化。OpenCV使用文件letter-recognition.data（ /data/samples/data/letter-recognition.data）代替图像 。如果打开它，将看到20000行，乍一看可能看起来像垃圾数字。

实际上，在每一行中，第一列是字母，这是标签。接下来的16个数字是它的不同特征，这些特征是从UCI机器学习存储库获得的。可以在此页面中找到这些功能的详细信息。

现有20000个样本，将前10000个数据作为训练样本，剩余的10000个作为测试样本。字母应该更改为ASCII字符，因为不能直接使用字母。

import numpy as np
import cv2

#  Load the data and convert the letters to numbers
data = np.loadtxt('letter-recognition.data', dtype='float32', delimiter=',', converters={0: lambda ch: ord(ch)-ord('A')})

# Split the dataset in two, with 10000 samples each for training and test sets
train, test = np.vsplit(data, 2)

# Split trainData and testData into features and responses
responses, trainData = np.hsplit(train, [1])
labels, testData = np.hsplit(test, [1])

# Initiate the kNN, classify, measure accuracy
knn = cv2.ml.KNearest_create()
knn.train(trainData, cv2.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)

correct = np.count_nonzero(result==labels)
accuracy = correct * 100 / result.size
print(accuracy)  # 93.06

它给我的准确性为 93.06% 。同样，如果要提高准确性，则可以迭代地在每个类别中添加错误数据。

附加资源

• https://docs.opencv.org/4.5.5/d8/d4b/tutorial_py_knn_opencv.html
• https://archive.ics.uci.edu/ml/datasets/Letter+Recognition
• https://en.wikipedia.org/wiki/Optical_character_recognition