机器学习之验证码识别

原文：https ：//blog.csdn.net/alis_xt/article/details/65627303

第一步:(爬取验证码）

我们首先需要获取足够的验证码样本，因为从简单做起，所以本次的验证码都是由数字组成且都比较规则; HTTP：//smart.gzeis.edu.cn：8081 /内容/校验码。 ASPX

1. ＃ - * - 编码：utf-8 - * -
2. 导入 请求
3. 进口 时间
5. ＃文件下载，主要下载训练集
6. def download_pics （pic_name）：
8. url = 'http: //smart.gzeis.edu.cn:8081/Content/ AuthCode.aspx'
9. res = requests.get（url，stream = True ）
11. 与 开放（ u'J：/数据分析学习/蟒/机器学习之验证码识别/pics/%s.jpg” ％（pic_name）， 把wb ） 为 F：
12. 对于 组块 在 res.iter_content（CHUNK_SIZE = 1024 ）：
13. 如果 大块：
14. f.write（块）
15. f.flush（）
16. f.close（）
18. if __name__ == '__main__':
19. for i in xrange( 100):
20. pic_name = int(time.time()* 1000000)
21. download_pics(pic_name)

第二步：（切割验证码）

因为每个验证码是4个数字组成，我的思路是把验证码切割成四个，然后逐一识别，这样的准确率应该比较高一些；这里值得一提的就是：切割图片的参数（通过PS可以看到相隔的像素值，然后可以推算出一个公式）、将图片二值化，把图片变成黑白图片、我们需要读取某个文件夹下的所有图片，然后保存下来。

1. # -*- coding: utf-8 -*-
3. from PIL import Image,ImageEnhance
4. from PIL import *
5. import time
6. # 图片切割
7. def segment(im):
8. s = 12
9. w = 40
10. h = 81
11. t = 0
12. im_new = []
14. for i in range( 4):
15. im1 = im.crop((s+w*i,t,s+w*(i+ 1),h))
16. im_new.append(im1)
17. return im_new
20. # 图片预处理，二值化，图片增强
21. def imgTransfer(f_name):
22. im = Image.open(f_name)
23. im = im.filter(ImageFilter.MedianFilter())
24. #enhancer = ImageEnhance.Contrast(im)
25. #im = enhancer.enhancer(1)
26. im = im.convert( 'L')
28. return im
31. def cutPictures(img):
32. im = imgTransfer(img)
33. pics = segment(im)
34. for pic in pics:
35. pic.save( u'J:/数据分析学习/python/机器学习之验证码识别/test/%s.jpeg'%(int(time.time()* 1000000)), 'jpeg')
38. # 读取某文件夹下的所有图片
39. import os
40. def getAllImages(folder):
41. assert os.path.exists(folder)
42. assert os.path.isdir(folder)
43. imageList = os.listdir(folder)
44. imageList = [os.path.abspath(item) for item in imageList if os.path.isfile(os.path.join(folder, item))]
45. return imageList
48. if __name__ == '__main__':
50. files_name = getAllImages( u'J:/数据分析学习/python/机器学习之验证码识别/pics//')
52. for i in files_name:
53. #cutPictures()
54. files = i.replace( '\\', '/')
55. s = files.split( '/')
56. name = ''
57. for j in s[: -1]:
58. name = name + j + '/'
59. name = name + 'pics/' + s[ -1]
61. cutPictures(name)

第三步：对图片预分类

这里值得一提的是，首先你得知道文件夹的命名不可以出现特殊符号（/ \ * ! | ? < >）等，而机器识别可能会把切割后图片识别成这些特殊字符，所以得加上一个判断；然后机器的识别正确率大概是50%，所有后面还需自己人工分类，变成准确的分类。（有个奇怪的现象，1200张图片，竟然没有一个9）

1. # -*- coding: utf-8 -*-
2. """
3. Created on Thu Mar 23 14:19:13 2017
4. 对切割后的图片进行分类，及0-9
6. @author: onlyyo
7. """
9. import sys
10. sys.path.append( 'C:\Users\onlyyo\Desktop\pytesseract-0.1.6\src')
11. sys.path.append( 'C:\Python27\Lib\site-packages\pytesser')
12. from pytesser import *
13. from pytesseract import *
14. import pytesseract
15. from PIL import Image
16. import os
17. import shutil
20. #ocr图像识别
21. def ocr(img):
22. try:
23. img = Image.open(img)
24. rs = image_to_string(img)
25. except:
26. return 'none'
27. return rs
30. #使用ocr进行训练的预分类
31. def category(originfile,dirs,filename):
32. if not os.path.exists(dirs):
33. os.makedirs(dirs)
34. shutil.copyfile(originfile,dirs+filename)
37. if __name__ == '__main__':
38. dirs = u'J:/数据分析学习/python/机器学习之验证码识别/test/'
40. # 将ocr识别的文件按照数组编号存放在相应的文件夹中
41. for fr in os.listdir(dirs):
42. f = dirs+fr
43. if f.rfind( u'.DS_Store') == -1:
44. rs = ocr(f)
46. if '|' not in rs and '*' not in rs :
47. if '?' not in rs and '<' not in rs and '>' not in rs:
48. category(f, u'J:/数据分析学习/python/机器学习之验证码识别/category/%s/'%rs,fr)

第四步：（提取特征值）

批量将切割后并且已经分好类的图像，得到的图片进行二值化（0,1）处理，变成像素值，然后保存在TXT文件下；这里要注意的是保存的格式以及每一个图片的像素值后面要加上它的标签即是什么数字。为下一步的模型训练做准备。

1. # -*- coding: utf-8 -*-
2. """
3. Created on Thu Mar 23 15:46:59 2017
5. @author: onlyyo
6. 批量将切割后并且已经分好类的图像，得到的图片进行二值化处理，变成像素值，然后保存在TXT文件下
7. """
8. from PIL import Image
9. import numpy as np
10. import os
12. # 特征提取，获取图像二值化数学值
13. def getBinaryPix(im):
14. im = Image.open(im)
15. img = np.array(im)
16. rows,cols = img.shape
17. for i in range(rows):
18. for j in range(cols):
19. if (img[i,j]<= 128):
20. img[i,j] = 0
21. else:
22. img[i,j] = 1
24. binpix = np.ravel(img)
25. return binpix
29. def getfiles(dirs):
30. fs = []
31. for fr in os.listdir(dirs):
32. f = dirs + fr
33. if f.rfind( u'.DS_Store') == -1:
34. fs.append(f)
35. return fs
38. def writeFile(content):
39. with open( u'J:/数据分析学习/python/机器学习之验证码识别/traindata/train_data.txt', 'a+') as f:
40. f.write(content)
41. f.write( '\n')
42. f.close()
45. if __name__ == '__main__':
46. dirs = u'J:/数据分析学习/python/机器学习之验证码识别/category/%s/'
48. for i in range( 9):
49. for f in getfiles(dirs %(i)):
50. pixs = getBinaryPix(f).tolist()
51. pixs.append(i)
52. pixs = [str(i) for i in pixs]
53. content = ','.join(pixs)
54. writeFile(content)

第五步：（模型训练）

使用sklearn中的SVM（支持向量机）对第四步得到的数据进行训练，SVM是有监督分类，通过调一些参数可以改善它的预测正确率，比如说核函数-rbf、poly、sigmoid、linear等；

1. # -*- coding: utf-8 -*-
2. """
3. Created on Thu Mar 23 16:18:39 2017
5. @author: onlyyo
6. 根据之前得到的验证码像素数组，以及他们的标签，用SVM对其进行模型训练
7. """
9. from sklearn.svm import SVC
10. from sklearn import grid_search
11. import numpy as np
12. import numpy as np
13. from sklearn import cross_validation as cs
14. from sklearn.externals import joblib
15. from picPreprocessing import loadPredict
16. import warnings
17. import time
20. def load_data():
21. dataset = np.loadtxt( u'J:/数据分析学习/python/机器学习之验证码识别/traindata/train_data.txt',delimiter= ',')
22. return dataset
26. # 交叉验证
27. def cross_validation():
28. dataset = load_data()
29. row,col = dataset.shape
30. X = dataset[:,:col -1]
31. Y = dataset[:, -1]
32. clf = SVC(kernel= 'rbf',C= 1000)
33. clf.fit(X,Y)
34. scores = cs.cross_val_score(clf,X,Y,cv= 5)
35. print "Accuracy: %0.2f (+- %0.2f)" % (scores.mean(),scores.std())
37. return clf
39. t0 = time.time()
40. cross_validation()
41. #print "fit time:",round(time.time()-t0,3),"s"
43. def searchBestParameter():
44. parameters = { 'kernel':( 'linear', 'poly', 'rbf', 'sigmoid'), 'C':[ 1, 100]}
46. dataset = load_data()
47. row,col = dataset.shape
48. X = dataset[:,:col -1]
49. Y = dataset[:, -1]
50. svr = SVC()
51. clf = grid_search.GridSearchCV(svr,parameters)
52. clf.fit(X,Y)
54. print clf.best_params_
56. #searchBestParameter()
57. print "fit time:",round(time.time()-t0, 3), "s"

第六步：预测验证码

我们的预测模型出来了，接下来就是验证咯！

1. # -*- coding: utf-8 -*-
2. """
3. Created on Thu Mar 23 17:20:09 2017
5. @author: onlyyo
6. 最后一步，对于要测试的验证码处理，然后进行预测，输出结果
8. """
10. from split_pic import *
11. from write_img import *
12. import os
13. from cross_svc import cross_validation
17. def cutPictures2(name):
18. im = imgTransfer(name)
19. pics = segment(im)
20. for pic in pics:
21. pic.save( u'J:/数据分析学习/python/机器学习之验证码识别/test_picture/%s.jpeg'%(int(time.time()* 1000000)), 'jpeg')
25. def load_Predict(name):
26. #
27. cutPictures2(name) #切割图片
29. dirs = u'J:/数据分析学习/python/机器学习之验证码识别/test_picture/'
30. fs = os.listdir(dirs) # 获取图片名称
31. clf = cross_validation()
32. predictValue = []
34. for fname in fs:
35. fn = dirs + fname
36. binpix = getBinaryPix(fn)
37. predictValue.append(clf.predict(binpix))
39. predictValue = [str(int(i)) for i in predictValue]
40. 打印 “图片编号为：” ， “”. join（predictValue）
42. name = u'J：/数据分析学习/ python /机器学习之验证码识别/8473.jpg'
43. load_Predict（名称）

总结：

做验证码识别的话，我觉得思路应该是这样的：

首选得获取足够的样本，

图片切割，图片二值化，降噪增强，

预分类，读取图片像素值即特征值以及标签;

模型训练--SVM，神经网络等。