(1)OCR学习-相关知识

1、什么是OCR？

OCR英文全称是Optical Character Recognition，中文叫做光学字符识别。它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机能够接受、人又可以理解的格式。文字识别是计算机视觉研究领域的分支之一，而且这个课题已经是比较成熟了，并且在商业中已经有很多落地项目了。比如汉王OCR，百度OCR，阿里OCR等等，很多企业都有能力都是拿OCR技术开始挣钱了。其实我们自己也能感受到，OCR技术确实也在改变着我们的生活：比如一个手机APP就能帮忙扫描名片、身份证，并识别出里面的信息；汽车进入停车场、收费站都不需要人工登记了，都是用车牌识别技术；我们看书时看到不懂的题，拿个手机一扫，APP就能在网上帮你找到这题的答案。太多太多的应用了，OCR的应用在当今时代确实是百花齐放啊。

2.1、OCR的分类

如果要给OCR进行分类，可以分为两类：手写体识别和印刷体识别。印刷体识别中包括传统的光学字符识别和自然场景文字识别，其中自然场景文字识别具有一定的挑战性。

这两个可以认为是OCR领域两个大主题了，当然印刷体识别较手写体识别要简单得多，我们也能从直观上理解，印刷体大多都是规则的字体，因为这些字体都是计算机自己生成再通过打印技术印刷到纸上。在印刷体的识别上有其独特的干扰：在印刷过程中字体很可能变得断裂或者墨水粘连，使得OCR识别异常困难。当然这些都可以通过一些图像处理的技术帮他尽可能的还原，进而提高识别率。总的来说，单纯的印刷体识别在业界已经能做到很不错了，但说100%识别是肯定不可能的，但是说识别得不错那是没毛病。

手写体识别一直是OCR界一直想攻克的难关，但是时至今天，感觉这个难关还没攻破，还有很多学者和公司在研究。为什么手写体识别这么难识别？因为人类手写的字往往带有个人特色，每个人写字的风格基本不一样，虽然人类可以读懂你写的文字，但是机器缺很难。那为什么机器能读懂印刷体？因为印刷体是机器造出来的啊，那机器当然能读懂自己造的字体啦哈哈~其实上面也提到了，印刷体一般都比较规则，字体都基本就那几十种，机器学习这几十种字体并不是一件难事，但是手写体，每个人都有一种字体的话，那机器该学习多少字体啊？这就是难度所在。

如果 按识别的内容 来分类，也就是按照识别的 语言 的分类的话，那么要识别的内容将是人类的所有语言（汉语、英语、德语、法语等）。

如果仅按照我们国人的需求，那识别的内容就包括：汉字、英文字母、阿拉伯数字、常用标点符号。

根据要识别的内容不同，识别的难度也各不相同。简单而言，识别数字是最简单了，毕竟要识别的字符只有0~9，而英文字母识别要识别的字符有26个（如果算上大小写的话那就52个），而中文识别，要识别的字符高达数千个（二级汉字一共6763个）！因为汉字的字形各不相同，结构非常复杂（比如带偏旁的汉字）如果要将这些字符都比较准确地识别出来，是一件相当具有挑战性的事情。

但是，并不是所有应用都需要识别如此庞大的汉字集，比如车牌识别，我们的识别目标仅仅是数十个中国各省和直辖市的简称，难度就大大减少了。当然，在一些文档自动识别的应用是需要识别整个汉字集的，所以要保证识别的整体的识别还是很困难的。

2.2 OCR的挑战

长期以来，丰富的排版样式、复杂背景、多变的自然场景、恶劣的光照和分辨率环境、文本扭曲变形、手写识别、公式识别、多语言混排等问题，仍然是学界和工业界试图攻克的难点。

• 笔记干扰 / 手写 / 涂改
• 不均匀光照 / 反光 / 弱光
• 失焦 / 运动模糊 / 摩尔纹
• 多字体 / 多语言混排
• 角度 / 弯曲 / 变形 （艺术字）
• 噪声、残缺、低对比度

3、OCR的流程

    版面分析 -> 预处理-> 行列切割 -> 字符识别 -> 后处理识别矫正 

 从上面的流程图可以看出，要做字符识别并不是单纯一个OCR模块就能实现的（如果单纯的OCR模块，识别率相当低），都要各个模块的组合来保证较高的识别率。上面的流程分的比较粗，每个模块下还是有很多更细节的操作，每个操作都关系着最终识别结果的准确性。做过OCR的童鞋都知道，送入OCR模块的图像越清晰（即预处理做的越好），识别效果往往就越好。那现在对这流程中最为重要的字符识别技术做一个总结。

4、OCR的识别方法

传统识别方法：

• 文字定位于切割

             基于投影的文本定位与切割

• 暴力的字符模板匹配法

暴力的字符模板匹配法看起来很蠢，但是在一些应用上可能却很凑效。比如在对电表数字进行识别时，考虑到电表上的字体较少（可能就只有阿拉伯数字），而且字体很统一，清晰度也很高，所以识别难度不高。针对这种简单的识别场景，我们首先考虑的识别策略当然是最为简单和暴力的模板匹配法。我们首先定义出数字模板（0~9），然后用该模板滑动匹配电表上的字符，这种策略虽然简单但是相当有效。我们不需要左思右想去建模，训练模型，只需要识别前做好模板库就可以了。

模板匹配法只限于一些很简单的场景，但对于稍微复杂的场景，那就不太实用了。那此时我们可以采取OCR的一般方法，即特征设计、特征提取、分类得出结果的计算机视觉通用的技巧。在深度学习大放异彩之前，OCR的方法基本都是这种方法，其效果嘛，并不算特别好。

在这里简单说一下这里常见的CNN方法。第一步是特征设计和提取，特征设计是一件很烦人的事情，做过模式识别相关项目的童鞋也深有体会，我们现在识别的目标是字符，所以我们要为字符设计它独有的的特征，来为后面的特征分类做好准备。字符有啥特征呢？有结构特征，即字符的端点、交叉点、圈的个数、横线竖线条数等等，都是可以利用的字符特征。比如“品”字，它的特征就是它有3个圈，6条横线，6条竖线。除了结构特征，还有大量人工专门设计的字符特征，据说都能得到不错的效果。最后再将这些特征送入分类器（SVM）做分类，得出识别结果。这种方式最大的缺点就是，人们需要花费大量时间做特征的设计，这是一件相当费工夫的事情。通过人工设计的特征（例如HOG）来训练字符识别模型，此类单一的特征在字体变化，模糊或背景干扰时泛化能力迅速下降。而且过度依赖字符切分的结果，在字符扭曲、粘连、噪声干扰的情况下，切分的错误传播尤其突出。针对传统OCR解决方案的不足，学界业界纷纷拥抱基于深度学习的OCR。

这些年深度学习的出现，让OCR技术焕发第二春。现在OCR基本都用卷积神经网络来做了，而且识别率也是惊人的好，人们也不再需要花大量时间去设计字符特征了。在OCR系统中，人工神经网络主要充当特征提取器和分类器的功能，输入是字符图像，输出是识别结果，一气呵成。这里就不再展开说明卷积神经网络了，想要知道的细节的可以看我以前写过的一篇博客《卷积神经网络CNN总结》。当然用深度学习做OCR并不是在每个方面都很优秀，因为神经网络的训练需要大量的训练数据，那么如果我们没有办法得到大量训练数据时，这种方法很可能就不奏效了。其次，神经网络的训练需要花费大量的时间，并且需要用到的硬件资源一般都比较多，这几个都是需要考虑的问题。

基于深度学习的方法：

文字识别4阶段统一框架，可适配多数现有识别算法(参考DTRB)

• 文本检测算法

基于深度学习的文字检测算法

	基于回归的算法		基于分割的算法
	CTPN	用BLSTM模块提取字符所在图像上下文特征，以提高识别精度	Pixel enbedding in(Tian et al.2019)
	SegLink	将单词切割为更易检测的小文字块，再预测邻近连接将小文字块连成词	SPCNet
	Textboxes/Textboxes++	调整文字区域参考框的长宽比例，并将特征卷积核调整为长方形，从而更适合检测出细长型的文本行	PSENet
	East	首先使用全卷积网络（FCN）生成多尺度融合的特征图，然后在此基础上直接进行像素级的文本块预测。该模型中，支持旋转矩形框、任意四边形两种文本区域标注形式。	PAN
	LOMO		DB
	SAST
	CRAFT
优点	对规则形状文本检测效果好		对不同形状文本的检测效果都比较好
缺点	无法准确检测不规则形状文本		后处理复杂耗时多，重叠问泵效果差

• 文本识别算法

基于深度学习的文本识别算法

CRNN	它包含CNN特征提取层和BLSTM序列特征提取层，能够进行端到端的联合训练。 它利用BLSTM和CTC部件学习字符图像中的上下文关系， 从而有效提升文本识别准确率，使得模型更加鲁棒。预测过程中，前端使用标准的CNN网络提取文本图像的特征，利用BLSTM将特征向量进行融合以提取字符序列的上下文特征，然后得到每列特征的概率分布，最后通过转录层(CTC rule)进行预测得到文本序列。
Rosetta
STAR-Net
RARE
SRN

• 端到端识别算法

基于深度学习的文字识别端到端算法

End2End-psl

基于深度学习识别方法炼丹秘籍：

• 模型选择
• 数据扩充
• 更换Backbone
• 训练技巧

           图像预处理：

                  1.Resize图像保持长宽比

                   2.使用Padding扩大图像size

           算法训练：

                   1.训练图像尺寸设置小一些，加快训练速度

                   2.数据增强

                   3.学习率衰减

                   4.Badcase样本频繁采样训练

                   5.长文本识别时，修改识别输入图像的shape[3,32,320]->[3,32,480] 

开源算法：

•  使用谷歌开源OCR引擎Tesseract

 Tesseract是谷歌维护的一个OCR引擎，它已经有一段相当悠久的历史了。Tesseract现在的版本已经支持识别很多种语言了，当然也包括汉字的识别。毕竟Tesseract是外国人搞得一个东西，所以在汉字识别的精度上还是不能摆上台面，不过还是自己去改善。但是Tesseract在阿拉伯数字和英文字母上的识别还是可以的，如果你要做的应用是要识别英文或者数字，不妨考虑一下使用Tesseract，毕竟拿来就能得到不错的结果。当然啦，要做到你想要的识别率，后期微调或者优化肯定要多下功夫的。

• 百度OCR开放平台，阿里、腾讯等，使用他们的字符识别API

 OCR开放平台做文字识别。现在很多大公司都开放了OCR的API供开发者调用，当然啦，小量调用是不收费的，但是大量调用就要收费了。最近我也在百度开放平台上调用OCR的API做一些识别的工作，说实话，在汉字的识别上，我们中国公司的技术还是顶尖的，在汉字识别的准确率上已经让人很满意了。比如我要识别一些文本，自己写个python脚本，调用开放平台的服务，返回的就是识别结果了。这种模式有啥不好的地方吗？首先是需要钱（当然每天小批量识别一下是不用钱的），第二是自己的控制程度不足，我们想要提升识别精度，我们不可以从OCR识别上做改进（毕竟别人的东西，我们改不了），能做只是预处理和后期矫正，能做的还是比较有限的。但是，如果自己不想花大量时间做OCR模型并且手上有钱的话，这种识别方法还是OK的。

• 百度开源paddleOCR，不支持ARM64架构，因为PaddlePaddle不支持ARM64架构
• cnocr

5、OCR的发展

在一些简单环境下OCR的准确度已经比较高了（比如电子文档），但是在一些复杂环境下的字符识别，在当今还没有人敢说自己能做的很好。现在大家都很少会把目光还放在如何对电子文档的文字识别该怎么进一步提高准确率了，因为他们把目光放在更有挑战性的领域。OCR传统方法在应对复杂图文场景的文字识别显得力不从心，越来越多人把精力都放在研究如何把文字在复杂场景读出来，并且读得准确作为研究课题，用学界术语来说，就是场景文本识别（文字检测+文字识别）。

从上图可以看出，自然场景下的文字识别比简单场景的文字识别实在困难太多了，现在虽然出了很多成果，但是离理想结果还是差很远。除上面的场景文字识别外，历史悠久的手写体的识别到现在还是一件具有挑战的课题，在深度学习的浪潮下，手写体的识别已经前进了一大步，但是尚且没达到印刷体识别那种可以商用的地步，OCR的研究还得不断地进行下去。

6、OCR的应用场景

如证件照识别 + 票据识别 + 车牌识别 + 拍照搜题 + 拍照检查 +自然场景文字识别 +内容审核（人工无法审核大量短视频） +内容理解（如体育赛事 转文字 直播，球衣的识别一定要准确的）。

6.1OCR的应用部署

讲到OCR的应用，最简单的就是能在自己的PC机上运行，但是如果投入使用，一定会部署在云端服务器或者移动设备、边缘设备上。

端侧部署(Lite)：

• 应用场景：移动端、手持端离线OCR识别

                         多种硬件环境(arm，x86等)

• 应用要求：离线识别、模型小、速度快、精度高
• 部署要求：跨框架预测、适配多种多样硬件环境、提升预测速度

服务器前部署(Serving)：

精度高、通信效率高

普通PC机部署(Inference)：

引擎推理模式

基于训练引擎推理	基于预测引擎推理
多为Python	Python或C++
python端组建网络结构 准备输入数据 加载训练模型 执行预测	准备输入数据 加载模型结构和模型参数 执行预测
模型训练场景 需要定义好网络模型 使用简单 多用于测试训练模型	模型推理场景 需转换训练模型为inference model 无需定义网络结构 加快预测速度 适用于模型部署应用

7、数据集

Chinese Text in the Wild(CTW)	该数据集包含32285张图像，1018402个中文字符(来自于腾讯街景), 包含平面文本，凸起文本，城市文本，农村文本，低亮度文本，远处文本，部分遮挡文本。图像大小2048*2048，数据集大小为31GB。以(8:1:1)的比例将数据集分为训练集(25887张图像，812872个汉字)，测试集(3269张图像，103519个汉字)，验证集(3129张图像，103519个汉字)。	文献链接：https://arxiv.org/pdf/1803.00085.pdf 数据集下载地址：https://ctwdataset.github.io/
Reading Chinese Text in the Wild(RCTW-17)	该数据集包含12263张图像，训练集8034张，测试集4229张，共11.4GB。大部分图像由手机相机拍摄，含有少量的屏幕截图，图像中包含中文文本与少量英文文本。图像分辨率大小不等。	下载地址http://mclab.eic.hust.edu.cn/icdar2017chinese/dataset.html 文献：http://arxiv.org/pdf/1708.09585v2
ICPR MWI 2018 挑战赛	大赛提供20000张图像作为数据集，其中50%作为训练集，50%作为测试集。主要由合成图像，产品描述，网络广告构成。该数据集数据量充分，中英文混合，涵盖数十种字体，字体大小不一，多种版式，背景复杂。文件大小为2GB。	下载地址： https://tianchi.aliyun.com/competition/information.htm?raceId=231651&_is_login_redirect=true&accounttraceid=595a06c3-7530-4b8a-ad3d-40165e22dbfe
Total-Text	该数据集共1555张图像，11459文本行，包含水平文本，倾斜文本，弯曲文本。文件大小441MB。大部分为英文文本，少量中文文本。训练集：1255张 测试集：300	下载地址：http://www.cs-chan.com/source/ICDAR2017/totaltext.zip 文献：http:// arxiv.org/pdf/1710.10400v
Google FSNS(谷歌街景文本数据集)	该数据集是从谷歌法国街景图片上获得的一百多万张街道名字标志，每一张包含同一街道标志牌的不同视角，图像大小为600*150，训练集1044868张，验证集16150张，测试集20404张。	下载地址：http://rrc.cvc.uab.es/?ch=6&com=downloads 文献：http:// arxiv.org/pdf/1702.03970v1
COCO-TEXT	该数据集，包括63686幅图像，173589个文本实例，包括手写版和打印版，清晰版和非清晰版。文件大小12.58GB，训练集：43686张，测试集：10000张，验证集：10000张	文献: http://arxiv.org/pdf/1601.07140v2 下载地址：https://vision.cornell.edu/se3/coco-text-2/
Synthetic Data for Text Localisation	在复杂背景下人工合成的自然场景文本数据。包含858750张图像，共7266866个单词实例，28971487个字符，文件大小为41GB。该合成算法，不需要人工标注就可知道文字的label信息和位置信息，可得到大量自然场景文本标注数据。	下载地址：http://www.robots.ox.ac.uk/~vgg/data/scenetext/ 文献：http://www.robots.ox.ac.uk/~ankush/textloc.pdf Code: https://github.com/ankush-me/SynthText (英文版) Code https://github.com/wang-tf/Chinese_OCR_synthetic_data(中文版)
Synthetic Word Dataset	合成文本识别数据集，包含9百万张图像，涵盖了9万个英语单词。文件大小为10GB	下载地址：http://www.robots.ox.ac.uk/~vgg/data/text/
Caffe-ocr中文合成数据	数据利用中文语料库，通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成，共360万张图片，图像分辨率为280x32，涵盖了汉字、标点、英文、数字共5990个字符。文件大小约为8.6GB	下载地址：https://pan.baidu.com/s/1dFda6R3
	部分数据集下载连接失效，请自行搜索

 

参考1

参考2