python验证码识别训练模型_python 基于机器学习识别验证码

1、背景

验证码自动识别在模拟登陆上使用的较为广泛，一直有耳闻好多人在使用机器学习来识别验证码，最近因为刚好接触这方面的知识，所以特定研究了一番。发现网上已有很多基于machine learning的验证码识别，本文主要参考几位大牛的研究成果，集合自己的需求，进行改进、学习。

2、基本工具

开发环境：

python 3.5 + pycharm

模块：

Pillow、sklearn、numpy及其他子模块

3、基本流程

描述整个识别流程：

①验证码清理并生成训练集样本

②验证码特征提取

③拟合识别模型

④识别模型测试

4、关于数据集

没有特意网上找python的生成脚本，用了一个java的验证码生成脚本。验证码是数字+大写字母+小写字母的组合，即[0-9]+[A-Z]+[a-z]。文件名是验证码的正确数字标签，实例如下

使用三个数据集：

①训练集(training set):10000张验证码

②测试集(test set)：100张验证码

③验证集(validation set)：100张验证码

5、验证码清理并生成训练集样本

(1)读取图片

首先读取该文件路径下的所有图片文件名称，并逐张打开。返回结果image_array，每一个元素类型为“”。

def read_captcha(path):

image_array = []

image_label = []

file_list = os.listdir(path) # 获取captcha文件

for file in file_list:

image = Image.open(path + '/' + file) # 打开图片

file_name = file.split(".")[0] #获取文件名，此为图片标签

image_array.append(image)

image_label.append(file_name)

return image_array, image_label

(2)图像粗清理

图像粗清理包括以下步骤：

step 1：原始图像是RGB图像，即维度为 (26, 80, 3)。将其转换为灰度图像，维度变为(26, 80)。

原始图像：

灰度图像：

step 2：对于将要识别的验证码，显然，里面出现了很多用于干扰作用的灰色线条。博主通过设定灰度阈值(默认100)，对图像中大于阈值的像素，赋值为255(灰度图像中像素值范围是0~255，其中255是白色，0是黑色)。发现对于此类型的验证码，这种方法很实用有木有。

defimage_transfer(image_arry):""":param image_arry:图像list，每个元素为一副图像

:return: image_clean:清理过后的图像list"""image_clean=[]for i, image inenumerate(image_arry):

image= image.convert('L') #转换为灰度图像，即RGB通道从3变为1

im2 = Image.new("L", image.size, 255)for y in range(image.size[1]): #遍历所有像素，将灰度超过阈值的像素转变为255(白)

for x inrange(image.size[0]):

pix=image.getpixel((x, y))if int(pix) > threshold_grey: #灰度阈值

im2.putpixel((x, y), 255)else:

im2.putpixel((x, y), pix)

image_clean.append(im2)return image_clean

(3)图像细清理

仅仅通过粗清理的办法，无法完全去除所有噪声点。此处引入了更细粒度的清理方法，参考这位大牛的清理方法。

主要有3大步骤：

step 1：找出图像中所有的孤立点；

step 2：计算黑色点近邻9宫格中黑色点个数，若小于等于2个，那么认为该点为噪声点；

step 3：去除所有噪声点。

经过细清理后，虽然可以看到还存在一个噪声点，但效果其实很不错了。

(4)单字符图像切割

去除孤立点后，我们还是没法一下子就识别出这四个字符，需要对经过处理后的图片进行切分。(其实可以使用deep learning的方法进行识别，但本文仅介绍基于machine learning的识别方法)

切割方式主要有一下步骤：

step 1：找出图片中所有分离图像的开始结束位置。遍历width&height，当每出现一个黑色点，记为该字符开始位置；当新的一列出现全白色点，那么记为结束位置。

[(8, 9), (14, 22), (29, 38), (42, 50), (57, 66)]

step 2：尽管经过清理后，还是可能存在噪声点。在找到所有切割开始结束位置后，计算并选出(结束值-开始值)最大的切割位置。

[(14, 22), (29, 38), (42, 50), (57, 66)]

切割后视图如下：

code：

defimage_split(image):""":param image:单幅图像

:return:单幅图像被切割后的图像list"""inletter= False #找出每个字母开始位置

foundletter = False #找出每个字母结束位置

start =0

end=0

letters= [] #存储坐标

for x inrange(image.size[0]):for y in range(image.size[1]):

pix=image.getpixel((x, y))if pix !=True:

inletter=Trueif foundletter == False and inletter ==True:

foundletter=True

start=xif foundletter == True and inletter ==False:

foundletter=False

end=x

letters.append((start, end))

inletter=False#因为切割出来的图像有可能是噪声点#筛选可能切割出来的噪声点,只保留开始结束位置差值最大的位置信息

subtract_array = [] #存储 结束-开始 值

for each inletters:

subtract_array.append(each[1]-each[0])

reSet= sorted(subtract_array, key=lambda x:x, reverse=True)[0:image_character_num]

letter_chioce= [] #存储 最终选择的点坐标

for each inletters:if int(each[1] - each[0]) inreSet:

letter_chioce.append(each)

image_split_array= [] #存储切割后的图像

for letter inletter_chioce:

im_split= image.crop((letter[0], 0, letter[1], image.size[1])) #(切割的起始横坐标，起始纵坐标，切割的宽度，切割的高度)

im_split = im_split.resize((image_width, image_height)) #转换格式

image_split_array.append(im_split)return image_split_array[0:int(image_character_num)]

(5)保存到训练集

将按上述方法切分后的单个数字、字母，保存到新建的文件夹里，专门用来作为模型的训练集。

6、特征提取

特征提取是针对每一个切割出后的单个字符，如6。此处构建特征的方法较为简单，统计每个字符图像每一行像素值为黑色的总和(灰度值为0)，加上每一列像素值为黑色的总和。因为我们切割后的图像大小为8*26(width*height)，故特征个数为34=8+26。当然此处其实可以把单字符图像按像素值展开为一个208=8*26的向量，以此作为特征向量，也是可以的。示例结果如下所示：

feature vector: [7, 11, 13, 4, 4, 13, 11, 7, 0, 0, 0, 0, 0, 4, 6, 4, 6, 6, 6, 6, 6, 6, 6, 4, 6, 4, 0, 0, 0, 0, 0, 0, 0, 0]

聪明的你可能会发现了一个致命的问题，如果使用新类型/不同像素大小的验证码来做处理和特征提取，那程序不就报错了？我们已经在切割的步骤后面加上像素大小的转换：

im_split = im_split.resize((image_width, image_height)) # 转换格式，im_split为切割后的图像，image_width为目标像素宽度，iamge_height为目标像素高度

当然，在读取图像的时候就转换格式也是可以的~

code：

deffeature_transfer(image):""":param image (图像list)

:return:feature (特征list)"""image= image.resize((image_width, image_height)) #标准化图像格式

feature= []#计算特征

for x in range(image_width):#计算行特征

feature_width =0for y inrange(image_height):if image.getpixel((x, y)) ==0:

feature_width+= 1feature.append(feature_width)for y in range(image_height): #计算列特征

feature_height =0for x inrange(image_width):if image.getpixel((x, y)) ==0:

feature_height+= 1feature.append(feature_height)#print('feature length :',len(feature))

print("feature vector:",feature)return feature

7、训练识别模型

关于训练识别模型，使用全量学习的方式，训练集用于拟合模型，测试集用于测试模型效果。本博客对比了SVC、random forest。

关于SVC的参数，使用了不同kernel(线性核、高斯核)，以及在一定范围内修改了正则项C，但测试效果不十分理想。对于正则项C，位于SVM模型的目标函数位置，当C越大时，模型对误分类的惩罚增大，反之，减少。

关于随机森林的参数，调整了树的深度、每个节点分支需要的最少样本数，尽量简化了每棵树的结构。效果较SVC好。

得到的结果如下

model parameters training accuracy test accuracy

SVC(linear)C=1.00.91250.65

SVC(rbf)C=1.00.90550.55

Random Foestmax_depth=10, min_sample_split=100.94200.75

code：

deftrainModel(data, label):print("fit model >>>>>>>>>>>>>>>>>>>>>>")#svc_rbf = svm.SVC(decision_function_shape='ovo',kernel='rbf') # rbf核svc#svc_linear = svm.SVC(decision_function_shape='ovo',kernel='linear') #linear核svc

rf = RandomForestClassifier(n_estimators=100, max_depth=10,min_samples_split=10, random_state=0) #随机森林

scores = cross_val_score(rf, data, label,cv=10) #交叉检验，计算模型平均准确率

print("rf:",scores.mean())

rf.fit(data, label)#拟合模型

joblib.dump(rf, model_path)#模型持久化，保存到本地

print("model save success!")return rf

关于数据量问题：

当训练样本非常大，如上千万/亿的时候，若使用传统machine learning的全量学习方法，需要消耗大量内容，对个人用户并不友好，此时可以引入增量学习。类似于训练neural network，每次训练只使用一个batch的小数据集，经过多次迭代，可达到非常robust的效果。

scikit-learn中支持SGD、Naive Bayes等分类模型的增量学习。通过迭代的方式，每次生成小数据集batch，使用partial_fit()方法训练模型。

scikit-learn 0.19.1 支持如下模型的增量学习

8、模型测试效果

得到的结果如下

modelparameterstraining accuracytest accuracy

SVC(linear)C=1.00.91250.65

SVC(rbf)C=1.00.90550.55

Random Foestmax_depth=10, min_sample_split=100.94200.75

9、识别预测流程

经过上述步骤，我们已经训练好了一个具有一定识别验证码能力的模型，为了能让模型自动化实现输入验证码文件，输出验证码识别结果，流程如下：

①读取将要识别的验证码文件

②验证码粗清理。将灰度值小于阈值的像素值转化为255。

③验证码细清理。找出所有孤立的噪声点，并将该像素值转化为255。

④字符切割。找出所有字符的开始结束位置，并切割出4幅图像。

⑤图像特征提取。对于4幅图像中的每一幅，分别从行、列统计其灰度值为0(黑色)的和，构建4个特征向量。

⑥识别。读取训练好的模型，分别对4个特征向量进行识别，得到4个预测结果。

⑦输出。将识别出的4个字符结果，串起来，并输出到结果文件。

code：

#-*- coding:utf-8 -*

importosfrom captcha_test.captcha_soc importimage_process, image_feature, image_model, image_trainingfrom sklearn.externals importjoblibfrom captcha_test.captcha_soc.config import *

#验证码数据清洗

defclean():#验证码清理

image_array, image_label = image_process.read_captcha(test_data_path) #读取待测试验证码文件

print("待测试的验证码数量：", len(image_array))

image_clean= image_process.image_transfer(image_array) #转换成灰度图像，并去除背景噪声

image_array = [] #[[im_1_1,im_1_2,im_1_3,im_1_4],[im_2_1,im_2_2,im_2_3,im_2_4],...]

for each_image inimage_clean:

image_out= image_process.get_clear_bin_image(each_image) #转换为二值图片，并去除剩余噪声点

split_result = image_process.image_split(image_out) #切割图片

image_array.append(split_result)returnimage_array, image_label#特征矩阵生成

deffeatrue_generate(image_array):

feature=[]for num, image inenumerate(image_array):

feature_each_image=[]for im_meta inimage:

fea_vector=image_feature.feature_transfer(im_meta)#print('label: ',image_label[num])#print(feature)

feature_each_image.append(fea_vector)#print(fea_vector)#print(len(feature_each_image))

if len(feature_each_image) ==0:

feature_each_image= [[0]*(image_width+image_height)]*int(image_character_num)#print(feature_each_image)

feature.append(feature_each_image)print("预测数据的长度:", len(feature))print("预测数据特征示例:", feature[0])returnfeature#将结果写到文件

defwrite_to_file(predict_list):

file_list=os.listdir(test_data_path)

with open(output_path,'w') as f:for num, line inenumerate(predict_list):if num ==0:

f.write("file_name\tresult\n")

f.write(file_list[num]+ '\t' + line + '\n')print("结果输出到文件：", output_path)defmain():#验证码清理

image_array, image_label =clean()#特征处理

feature =featrue_generate(image_array)#预测

predict_list =[]

acc=0

model= joblib.load(model_path) #读取模型#print("预测错误的例子：")

for num, line inenumerate(feature):#print(line)

predict_array =model.predict(line)

predict= ''.join(predict_array)

predict_list.append(predict)if predict ==image_label[num]:

acc+= 1

else:pass

print("-----------------------")print("actual:",image_label[num])print("predict:", predict)print("测试集预测acc：", acc/len(image_label))#输出到文件

write_to_file(predict_list)if __name__ == '__main__':

main()

10、总结

关于上述机器学习的验证码识别，只是作了一个简单例子的过程演示。仅仅是针对某种特定类型的验证码，若换成其他类型的验证码做测试，不能保证识别的准确率。

这就是传统机器学习的不足：需要人工做数据清理和提炼特征。有个办法可以解决这种繁琐的数据清理，以及人工提取验证码特征的缺点，那就是深度学习的方法。

博主使用深度学习的循环神经网络，训练了一个识别模型，具体请跳转到这里。

11、相关博客&文献

https://www.cnblogs.com/TTyb/p/6156395.html?from=timeline&isappinstalled=0

https://www.cnblogs.com/beer/p/5672678.html

完整代码及数据集：github.com/wzzzd/captcha_ml

---------------------

作者：Neleuska