4. 空中手写字符识别（手牌）

概述

本系统实现了可以在非接触状态下完成数字与字符的输入。利用了深度学习技术，并且能够在计算性能受限的低端平台流程运行。在目标跟踪方面，以孪生网络目标跟踪算法为基础，在保证精度的情况下，对网络结构进行调整，对比原模型降低了参数量并且优化了计算过程，速度方面得到显著提高。在数字和字母识别方面，利用Dropout 算法改进了全连接神经网络的方式，可以比较有效地缓解过拟合现象的发生，起到一定正则化的效果。最后，结合目标跟踪算法和识别算法，在计算资源受限的情况下，实现了空中手写数字与字母，并且针对数字和字母进行了识别，而且对识别的数字作了简单应用，实现空中手写字母的简单文本输入和手写数字的简易计算器。

作品背景

随着科技的发展，人工智能的兴起。近些年来，深度学习以其独特的优势得到了快速的发展，尤其是在机器视觉方面。如今人工智能已经融入到我们生活的方方面面，文本的识别是人工智能的一个重要的方面，同时复杂环境下的手写文本识别具有一定的挑战性。文本是用来记录文字，而文字的书写方式也不断变化，先是小树枝，后来的毛笔，现代的圆珠笔，以及如今的触摸屏书写。文字的书写方式随着时代和人们的需求不断的发生着变化。而如今全球疫情的爆发，使得传统的接触型书写有可能造成间接性传染，因此设计一种无接触的文本书写方式具有重要意义。 本课题针对无接触文本的书写进行研究，在深度学习中的目标跟踪与文本识别的模型的基础上进一步改进和结合，并且考虑的移动的便携性，设备采用了嵌入式平台。最终实现了无接触字母和数字的书写与识别，且针对识别后的字母与数字做了简单应用。

创新点

理论：高帧率轻量级孪生网络目标跟踪模型、基于Dropout的字母与数字识别网络；
应用：空中手写字母与数字的识别、无接触文本输入和无接触计算器。
在算力受限的条件下达到流畅运行的效果。

难点

空中手写字母与数字是结合目标跟踪算法和文本识别算法，先通过目标跟踪绘制目标运动的轨迹，再经过文本识别检测目标绘制的轨迹，从而实现了空中手写字母与数字。然而，在实际实验过程中，发现目标跟踪绘制的轨迹过程中只能连续书写无法断开，而在实际书写的过程中字母与数字的书写是需要断开后再书写。触摸屏上的书写方式可以通过检测是否接触屏幕，实现手写手写过程断开操作，而本文实验是没有断开的触发条件。考虑到无接触性操作，最终采用遮挡的方式进行断开操作，但是遮挡缺乏一定的稳定性。跟踪绘制的轨迹可以稳定的断开成为了本实验的难点。

实用价值

空中手写字母与数字是一种无接触的文字输入方式，因此在公共场所能够实现不用接触屏幕和笔就可以输入文本。例如，如今全球疫情的爆发，使得传统的接触型书写有可能造成间接性传染；再如，超市中查询商品文本的输入，诸如此类等等，因此无接触的文本书写方式具有广泛的应用前景。

空中手写输入系统-演示视频：