利用modelarts和物体检测方式识别验证码

近来有朋友让老山帮忙识别验证码。在github上查看了下,目前开源社区中主要流行以下几种验证码识别方式:

  1. tesseract-ocr模块:
    这是HP实验室开发由Google 维护的开源 OCR引擎,内置传统模式识别方法和现代深度神经网络算法
  2. 采用深度学习网络
    通常是基于CNN网络,通过captcha等验证码生产器自动生产训练集,通常对生成器内置的验证码类型有极高的识别度。

需求中需要识别的验证码来自特定网站 http://fota.redstone.net.cn/,使用通用的验证码识别模块识别准确率比较低,因此很可能需要自己创建数据集进行训练。

查看数据

无论如何,都必须看到数据才能处理数据。因此我们通过对网站进行请求生成验证码集:

import os, requests
from time import sleep
# 文件保存路径
path = 'images'
# 验证码网站
url = 'http://fota.redstone.net.cn/index.php/home/index/get_verify.html'
# 图片数目
number = 100

os.makedirs(path, exist_ok=True)

# 请求并保存图片
for i in range(number):
   sleep(0.1)
   r = requests.get(url)
   with open(f'{path}/{i}.jpg', 'wb') as f:
       f.write(r.content)

观察数据:

利用modelarts和物体检测方式识别验证码_第1张图片

利用modelarts和物体检测方式识别验证码_第2张图片

通过观察数据,发现这些验证码基本有这几个特点:

 

 

 

  1. 需要识别的是4个数字;
  2. 数字字体有多种风格,数字有一定旋转,数字之间有可能交叉;
  3. 背景中有许多小字;
  4. 与数字相同的颜色的间断粗线穿过数字,对数字识别造成影响。

标注

按通常的图像处理方式,可以通过形态学去除小字,然后转换成灰度图进行后期训练处理。但老山正好最近涉及些图像识别的深度学习方法,于是在想,是否能直接通过yolov3,faster-rcnn等物体检测模型来识别验证码呢?

要按物体检测方式识别验证码,首先要有标注数据集,这里采用modelarts内置的标注进行标注。

  1. 先将图像传到obs中

利用modelarts和物体检测方式识别验证码_第3张图片

2. 在modelarts上点击创建数据集

利用modelarts和物体检测方式识别验证码_第4张图片

3. 按要求填写列表,选择物体检测,(标签可以在此处添加,也可以在标注的时候添加),然后创建数据集

利用modelarts和物体检测方式识别验证码_第5张图片

4. 点击进入已创建的数据集,然后就可以进行图片标注了

利用modelarts和物体检测方式识别验证码_第6张图片

5. 这里不得不提的是智能标注,这也成为后面老山深深的怨念;在标注图片超过20的时候,就可以启用智能标注,可以自动识别物体,减少标注时间

利用modelarts和物体检测方式识别验证码_第7张图片

运行10多分钟后,标注就完成了,可以看到,标注的效果是真好

利用modelarts和物体检测方式识别验证码_第8张图片

在已标注集仅为20的情况下,虽然还有不少需要更改的地方,但效果还是可用的;但标注集达到100时,效果就可以达到95%以上的准确率;由于智能标注使用的算法无非是常见的物体检测方法的一种,如此好的效果让我一度产生“标注数据集100就可以得到很好的训练效果“的幻觉。

训练

1. 标注完成后,点击数据集右侧的发布按钮,然后你在数据集输出路径里很深的路径里找到生成的标注的xml文件

 

2. 如果需要追加待标注数据集,可以对输入位置对应的obs路径中添加图像,然后在标注页面里点击”同步数据源“

利用modelarts和物体检测方式识别验证码_第9张图片

3. 第一期标注了200张已标注图片,于是老山自信满满的打开训练作业,创建了faster-rcnn的训练作业

利用modelarts和物体检测方式识别验证码_第10张图片

话说训练作业不用写代码还是很方便的,尤其适合前期尝试模型,让大家对模型能达到的准确率做个初步的判断,避免在一个不适合的模型中花费太多的时间。

在目前物体检测中,faster-rcnn、yolov3还有retinanet都是比较主流的模型。先尝试了faster-rcnn,mAP值只有0.2,然后是yolov3,mAP是0.29,用了retinanet,mAP值到了0.58。

老山于是便有了怨念,智能标注用啥模型啊,不还得是主流目标检测模型吗,为什么标注20张图就能有如此高的准确率,老山200张图训练的模型效果都不如他。尤其是前面faster-rcnn和yolov3的mAP值都如此的低,让老山一度很灰心,还好retinanet的效果还不错,可以继续调×教。

虽然老山调不出智能标注使用的模型,但模型复制嘛,不只是复制模型一种方法而已,把模型的结果集作为老山模型的训练集,只要数量足够大,也可以训练出相近的模型。于是就一口气又生成了800张图片,然后用已标注的200张图片做智能标注。由于标注结果十分准确,大部分标注结果就直接确认了,标注了800张图片,只花了1个多小时,效率可以说是杠杠的!

然后使用这1000个样本的数据集杀了回来,mAP值达到了0.96!看来数据集的大小非常重要,这还只是用了默认参数。

利用modelarts和物体检测方式识别验证码_第11张图片

在观察日志的时候,发现右上角有个修改,点进去发现可以基于训练模型基础继续训练,同时发现预制算法旁边有个算法详情,里面描述了算法的运行参数。考虑到上次运行早停了,看了一通参数的含义,最后只改了decay_patience这个参数。

利用modelarts和物体检测方式识别验证码_第12张图片

利用modelarts和物体检测方式识别验证码_第13张图片

又跑了一遍,这次mAP又小小的提高到了0.97!但这些都只是个摸不着的结果,老山决定部署下看下结果

先在训练作业结果中点击创建模型,把名称改成有意义的,其他参数保持不变就好,

利用modelarts和物体检测方式识别验证码_第14张图片

部署

等待模型状态正常后,点击右边的部署

利用modelarts和物体检测方式识别验证码_第15张图片

等到部署完成后,点击部署任务中的预测,并上传图片,查看结果

许多结果看起来还可以

利用modelarts和物体检测方式识别验证码_第16张图片

但也有不少结果没有预测正确

利用modelarts和物体检测方式识别验证码_第17张图片

为此统计下这1000张图片的预测结果(老山这里比较懒,并没有单独准备测试集),我们需要对这些图片进行预测。由于不可能人工上传预测,为此老山祭出了大杀器,python。

首先,我们要获取X-Auth-Token认证

import requests
import json
url = "https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens"
headers = {"Content-Type":"application/json"}
data = {
 "auth": {
   "identity": {
     "methods": ["password"],
     "password": {
       "user": {
         "name": "your-username", 
         "password": "your-password",
         "domain": {
           "name": "your-domainname:normally equal to your-username"
         }
       }
     }
   },
   "scope": {
     "project": {
       "name": "cn-north-1" 
     }
   }
 }
}

data = json.dumps(data)

r = requests.post(url, data = data, headers = headers)
print(r.headers['X-Subject-Token'])

data具体参数填写可网址详见https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html

程序最后获得的便是X-Auth-Token认证码。

接下来我们开始预测

config.py

X_Auth_Token = "MIIZpAYJKoZIhvcNAQcCoIIZlTCC..." # 前面获取的X-Auth-Token值
url = "https://39ae62200d7f439eaae44c7cabccf5de.apigw.cn-north-1.huaweicloud.com/v1/infers/55d5..." #在调用指南页面获取的url值

predict.py

import os
import json
from lxml import etree as ET
import requests
from config import url, X_Auth_Token
import logging
logging.basicConfig(level=logging.INFO,
                   format="%(asctime)s %(name)s %(levelname)s %(message)s",
                   handlers = [
                       logging.FileHandler(f"log.txt"), #生成日志文件
                       logging.StreamHandler()
                   ])

# 图片(jpg文件)和标注文件(xml文件)所在位置,注意jpg和xml文件一一对应
path = 'images1000'

def requestImage(filename):
   '''根据图片文件利用在线服务预测结果, jsonStr'''
   files = {'images':open(filename,'rb')}
   headers2 = {'X-Auth-Token': X_Auth_Token}
   response = requests.request("POST", url, files=files, headers=headers2)
   return response.text

def getImageFile(xml_file):
   '''根据xml文件返回对应的图片文件'''
   return os.path.splitext(xml_file)[0]+'.jpg'

def getFileList(folder):
   '''folder下的同名xml和jpg组成tuple,并以list返回 [(xml_file, jpeg_file), ...]'''
   return [(os.path.join(folder, filename), os.path.join(folder, getImageFile(filename))) for filename in os.listdir(folder) iffilename.endswith('.xml')]

def json2text(jsonStr):
   '''根据预测结果jsonStr返回预测的数字'''
   obj = json.loads(jsonStr)
   boxes = []
   for className, box in zip(obj["detection_classes"], obj["detection_boxes"]):
       boxes.append([className]+[float(pos) for pos in box]) 
   # 注意预测的box以[top, left, bottom, right]进行排序,与xml文件有点不同
   boxes.sort(key = lambda x: x[2])
   return ''.join([className for className, *_ in boxes])

def xml2text(xml_file):
   '''根据xml_file里所有box生成list [(class_name, left, top, right, bottom), ...]'''
   tree = ET.parse(xml_file)
   root = tree.getroot()
   boxes = []
   for obj in root.findall('object'):
       name = obj.find('name').text
       xmlbox = obj.find('bndbox')
       b = (round(float(xmlbox.find('xmin').text)), round(float(xmlbox.find('ymin').text)), 
       round(float(xmlbox.find('xmax').text)), round(float(xmlbox.find('ymax').text)))
       boxes.append((name, *b))
   boxes.sort(key = lambda x: x[1])
   return ''.join([className for className, *_ in boxes])        

if __name__ == "__main__":
   fileList = getFileList(path)
   count = 0 # 预测数目
   sameCount = 0 # 预测正确数目
   for xml_file, jpg_file in fileList:
       # 根据图片文件在线预测结果
       jsonStr = requestImage(jpg_file)
       text_image = json2text(jsonStr)
       # 根据标注文件获得正确结果
       text_xml = xml2text(xml_file)
       # 对比输出
       count += 1
       if text_image==text_xml:
           sameCount+=1
       logging.info(f"count:{count}, sameCount:{sameCount}, \
           text_image:{text_image}, text_xml:{text_xml}, percent:{sameCount/count}")

运行程序结果如下

利用modelarts和物体检测方式识别验证码_第18张图片

可以看到,由于在线服务使用的是CPU,预测的结果比较慢,大概5~6秒出一个结果,准确率一直不高,最后定格在75.6%。对于这个结果,老山只能说,还好是用于预测验证码,可以反复预测,预测正确的期望次数是1.3次,算是可堪一用把。

总结

当然,本文算是使用modelarts对使用物体检测算法来识别验证码做了个试探,总体结果说明这种识别验证码的方法完全是可以用的,如果后续需要继续进展的话,完全可以在以下方面进行展开:

  1. 数据集生成:
    数据集仍可以继续扩大。此时就不需要在手动标注了,老山想到一个很好的办法。生成数据集后,用智能标注的方式生成标注结果,将标注结果利用网站去验证正确与否,这样就可以无需手动,生成很好的数据集,现在智能标注免费,完全是白嫖,数据集够大时,至少能达到智能标注的水平(无限怨念)。
  2. 模型参数调节

预置模型很省心,但却看不到细节,如果想自己把握模型,可以使用开源模型来运行,老老实实的写代码调参数。如果没有GPU环境,可以使用开发环境的notebook进行开发;

3. 在本地开启服务

用在线服务功能当然省心,但如果只是为了识别验证码,这性价比就不是太高了。我们可以在预置模型的输出路径找到模型生成文件,这样就可以把模型布置在本地了。

作者:山找海味

你可能感兴趣的:(技术交流)