这款神秘的移动端OCR引擎，如何做到“所见即所得”？

阿里妹导读：随着深度学习，尤其是CNN和RNN等技术的飞速发展，文字识别技术(OCR)近几年得到了迅速的提升。与此同时，在智能化终端的大趋势下，本地化智能识别凭借更高效快捷的体验以及高度的隐私保护和零流量消耗等优势备受瞩目和亲睐，越来越多的应用算法开始倾向终端化完成，OCR也不例外。接下来，蚂蚁金服的算法专家亦弦为我们剖析这个轻量而精准的移动端OCR引擎——xNN-OCR。

背景及概述

移动端OCR的优势

受算法效率和算法模型大小的限制和约束，目前大部分的OCR端上应用都是上传图片到服务端识别再将识别结果回传到客户端。虽然满足了部分业务需求，但一方面，对一些实效性要求较高的业务场景来说用户体验无疑是一个巨大的损失，尤其是弱网环境下。另一方面，在面临大促业务并发请求量过大的情况下，服务端不得不采用降级方案，而如果端上也具备识别能力的话，便可以极大地减少服务端的压力。此外，涉及到身份证、银行卡等重要私人证件采用OCR进行信息提取的时候，端上“识完即焚”这种方式，对这种敏感数据和隐私保护来说是天然的堡垒。因此，具备终端OCR识别能力有着极其重要的业务价值和意义。

移动端OCR的难点

OCR采用深度学习技术使得识别精度在特定的场景下面有了一定的保障，但模型大小和速度问题在端上依然是一大难题。目前大部分的后台OCR模型通常几十M或者上百M，可能比整个App安装包都要大，是不可能直接放到移动端的，而如果走实时下载的办法，模型过大也会造成下载失败率高、等待时间长、App占用空间大、流量消耗大等问题。另外，现在很多OCR算法在云端GPU上运行尚且需要几十到上百毫秒，要在手机CPU上保持较高的运行效率是一个极大的挑战。

我们做了什么？——xNN-OCR

xNN-OCR是专门针对移动端本地识别研发的的高精度、高效率、轻体量文字识别引擎，目前支持场景数字、场景英文、场景汉字以及特殊符号的识别。xNN-OCR针对移动端开发和优化了一套基于深度学习的文字检测和文字行识别算法框架，结合xNN的网络压缩和加速能力，检测和识别模型可以压缩到数百K级别，在中端及以上手机CPU上达到实时（最高15FPS），可结合“扫一扫”的模式在视频流中做到所见即所得。

移动端OCR识别技术

移动端OCR技术主要分为二个方面，一是OCR算法框架的研究和优化，主要目标是探索高精度且轻量级的检测和识别框架，确保在压缩之前模型的大小和速度在一个适当的范围以内，二是利用xNN对模型进行剪枝和量化压缩到实际应用需要的大小。下图是我们以银行卡检测和识别模型为例子展示整个压缩流程精度和模型的变化，其他OCR场景识别均是类似流程。

轻量级OCR算法框架的探索

目前大部分的移动端OCR技术都是以传统算法为主，在复杂自然场景下识别率相对较低，而基于深度学习的方案可以很好的解决这一类问题，识别率和稳定性远超传统算法。目前主流的深度学习OCR主要分为文字行检测和行识别两大块，下面我们分别介绍下：

文字行检测

在检测方面，我们将物体检测的Region-CNN框架与FCN的图像分割框架融合在一起，保留了FCN的简单框架以适应端上对模型尺寸和预测时间的要求，同时又在模型中加入了目标检测的位置回归模块，实现了对任意形状文本的检测能力。在基于FCN的整体框架中，为了在精简模型的同时不降低检测效果，我们采用了各种模型精简结构（例如Separable Convolution、Group Convolution + Channel Shuffle等，如下图），模型的尺寸虽然不断减小，精度并未随之下降,在满足端上对模型的苛刻限制的同时取得了较好的检测效果。

文字行识别

在识别方面，我们在CRNN(CNN+LSTM+CTC)框架基础上进行了优化改进，在Densenet的基础上结合Multiscale Feature、Channel-wise Attention等技术设计出了一套专门用于移动端文字行识别的轻量级CNN网络，同时对LSTM内部参数采用Project技术、全连接层采用SVD、BTD等降维技术进一步减少参数数量(如下图)，在ICDAR2013数据集(NOFINETUNE)上，模型大小下降约50%的前提下识别率高出CRNN近4个点，这一改进优化点为上端打下了强有力的基础。

xNN模型压缩

目前我们的OCR算法模型都是基于tensorflow开发的，xNN已经增加了对TFLite模型的支持，并且在性能上已经远超TFLite。xNN对于我们OCR算法的模型压缩比在10-20倍之间，不同的场景稍微有些区别，与此同时，压缩后模型的精度基本保持不变。由于OCR是一个较复杂的识别任务，算法模型通常都非常大，并且目前大部分的后台OCR算法都是在GPU上运行，要想在端上运行，除了需要在算法层次上做很多优化外，更需要xNN强大的模型压缩和加速能力。

移动端OCR应用

OCR技术是信息提取和场景理解极其重要的技术手段之一，应用领域非常广泛。目前移动端本地OCR应用从技术角度可以分为2大类，一类是印刷体文字识别，主要是针对字体变化不大、背景单一的场景，例如身份证识别、名片识别、车牌识别等等，另一类是场景类文字识别，主要是针对字体变化大且背景复杂的场景，例如银行卡识别、燃气表/水表识别、门头名识别、场景英文识别（AR翻译）等等，这两类场景中后者识别难度较大，面临的挑战性更多。我们将xNN-OCR用于这些场景并根据场景的特点做了各种优化，取得了一系列的成果，特别是在复杂环境下面识别依然可以保持高效和精准，具体的数据如下表。下面简介了几个比较重要和常见的应用场景。

• 银行卡识别：银行卡识别是金融类行业非常重要的一项技术，是场景数字类识别的一个典型代表。目前大部分银行卡识别均是采用端上识别的方案，因为端上识别不仅能带来更好更快的体验，同时由于不需要数据上传也能一定程度保护用户的隐私数据。基于xNN-OCR开发的银行卡识别在中端手机上耗时<300ms，大部分银行卡都是秒识别。此外，在面对复杂背景以及复杂环境干扰的时候，xNN-OCR在识别速度和精度上均展现了非常明显的优势。
• 燃气表识别：通过OCR识别燃气表读数是目前燃气自助抄表中的一项关键性技术，相比于传统上门抄表，一方面可以节省很大的人力物力，避免上门抄表带来的麻烦，另外一方面也可以减少漏抄、误抄等问题。目前已经有很多燃气公司已经开始应用这一项技术，但实际应用过程中，由于燃气表的位置有时候比较隐蔽，拍摄角度和光照难以控制，通常一般的用户拍照上传到后台识别的图片质量都比较差，识别率偏低。xNN-OCR在端上完成整套识别流程，通过识别反馈引导用户拍摄，可较大程度的提升识别率，在与一家燃气公司的合作中，我们测试识别率可以达到93%+，模型尺寸可保持在500k以内，识别成功耗时<1s。
• 车牌/VIN码识别：车牌/VIN码识别是传统印刷体类文字应用的一个经典场景，在移动警务、车辆维修定损等日常场景中起着非常重要的作用。由于车牌/VIN码识别在实际应用中可能同时需要，为了避免交互流程上的繁琐以及端上2套算法模型过大，xNN-OCR将车牌和VIN码这2个场景识别合二为一，模型尺寸依然<500k，在中端手机上识别成功耗时<1s，并且对光照、模糊、拍摄角度等干扰因素不敏感，同时由于端上可以反复识别寻求置信度最高的结果作为最终结果，所以相对于后台识别“一锤子买卖”而言，在识别精度上会更胜一筹。
• 身份证识别：身份证识别也是金融类行业非常重要的一项技术，在实名认证、安全审核等场景起着非常重要的作用，但由于中文汉字字库较大，导致模型较大，目前大部分的身份证识别均采用的是服务端识别，但由于端侧质量难以控制，往往会导致体验和精度上面难以均衡。xNN-OCR在大字库中文识别方面也作出了一些突破，整体模型小于1M，在端侧用单字识别信度控制识别精度，避免了对图片质量判断的依赖，通过多帧融合提升识别效率，单次识别中端手机上<600ms，识别成功<2s。

展望

xNN-OCR目前在端上已经能较好的识别场景数字、英文以及部分汉字，无论是模型大小、速度、准确度均已达到工业应用的水平，并且全面超过基于传统算法识别的OCR端上应用，在多个实际应用项目中对比得以验证。另外，我们在端上全量7000多类汉字识别上也做出了一些成果，在不久的将来会分享出来，欢迎有兴趣的同学来一起研究和探讨。

我们坚信，随着深度学习的移动端化逐步增强和移动硬件设备的逐步升级，终端智能化的应用与业务将会越来越多，未来xNN-OCR必将会给OCR相关的业务带来更深远的影响和更高的价值。

---

本文作者：亦弦

阅读原文

本文来自云栖社区合作伙伴“ 阿里技术”，如需转载请联系原作者。