基于图像处理的手势识别--帮助聋哑人无障碍交流

 电子科技大学 格拉斯哥学院 2017级郭欣瑜 

摘要

聋哑人群体在社会生活中的交流面临很大的沟通障碍，无论是聋哑人本身或是社会工作者对手语的不熟悉都是造成这一交流问题的原因。为构建我国的无障碍环境，解决聋哑人在公共环境中的交流与沟通的不便，本文将以曾院长所讲述的数字图像处理基础为技术出发点，讨论如何通过对手势图像的识别技术，为聋哑人提供相应的仪器与软件，解决交流问题。

关键字：数字图像处理  无障碍交流  聋哑人

 

1. 社会背景

       在中国，残疾人时社会组成中不可忽视的一部分特殊人群，他们需要社会的关怀与帮助。其中聋哑人的人数最多，约为 2057 万人，每 100 个人中，就有一个聋哑人。另据最新资料统计，我国每年有 0.02%的聋哑人出生，连同出生后2-3岁婴幼儿，每年的总群体达5700万，听力损伤的发病人数约为17万。

       聋哑人在社会生活中面临诸多的问题。生活中，聋哑人这一群体与外界存在沟通障碍，大部分人不懂手语。聋哑人易由于身体残疾，经济状况不好而产生自卑心理，因此，他们大多只在聋哑人群体中恋爱结合，造成下一代聋哑人的降生。据最新资料表明，健听人与聋哑人沟通最常用的方式为纸笔交流，但这种方法不方便也不实用，纸笔交流不仅耗时耗力，需要极大的耐心，而且很多场合无法提供纸笔的条件，使得聋哑人的交流变得更加困难。

       在社会对残疾人无障碍环境的构建中，对于聋哑人的无障碍构建较为困难。因为对于聋哑人的无障碍环境构建不能如为盲人和肢残人士构建的环境那样直观，如行人道中的盲道，公共场所的盲文标识，方便轮椅上下的辅助坡道，为肢残人士设计的卫生间等等。而为聋哑人构建的环境则较难。例如，他们在无人陪同的情况下去医院看病，由于语言表达存在障碍，又没有手语翻译，基本不可能成功想医生叙述自己的病情。至于乘车时听不到报站，在银行，邮电局，由于柜台窗的阻隔，无法与营业员进行交流，障碍更多。如果没有辅助设施，聋哑人简直寸步难行。

2. 技术阐释

       我将从曾院长所讲授的图像处理技术出发，来讨论如何用这项技术帮助残疾人解决交流不便的问题。对于聋哑人的交流来说，手语是至关重要的。但由于认知上的缺乏和经济等条件的限制，我国现行手语的普及与发展还十分不足，缺乏专业的语言学家的深入研究，很多聋哑人无法掌握手语的正确使用方式，且由于同一个词可能手语的表达都不相同，相互之间也可能很难以理解对方想表达的意思。造成聋哑人在公共场所中的交流不便，与聋哑人相互之间因不懂手语或手语表达不同的交流障碍。因此，对于手势的识别并将其转化成汉语，在很大程度上能帮助聋哑人解决交流问题、便利聋哑人的日常生活。

       前期需要大量地采集的手语图像，然后需要将图像进行预处理，比便获得更好的分割效果，包括去噪、锐化、灰度化。其中对图像的边缘提取与图像分割，有利于提取出手势的轮廓和动作特征等。接下来是特征提取，通过大量的手势图片让计算机统计学习，使其可以将采集到的图像转化为汉字输出。同时，对于采集的图像进行去噪也十分的重要，因为通常情况下采集到的图片会受到相机镜头、周围环境的干扰的影响，且通过摄像头采集到的手势的图像，由于光线不均匀等因素，会使得采集到的手势与背景区分度不高，造成之后的难以提取和信息丢失。因此，在图像被使用之前需要用滤波器除去噪声。而选择好的滤波器可以有效的保护图像，不会造成处理后图像的模糊。

       其次，在图像生成与传递过程中会使视频图像变得模糊，轮廓也会变得很模糊，为了增补图像的轮廓，加强边缘部分，改善图像的视觉效果，就需要使用图像增强的方法，即锐化的处理方法。接下来通过色彩空间转换，将RGB的彩色图像转化为灰度图像。可以按照图像的灰度特性，将其分为背景和目标两部分从而进行分割。为了可以达到对图像精准的分割，前期的除噪、预处理和锐化工作十分的重要。

       最后对图像特征的提取能够让计算机来识别图像。由于计算机不能直接的识别图像，就必须通过对图像的一些特征，如边缘、色彩、亮度进行处理与变换，并建立相应的模型。通过给计算机提供大量的样本学习图片，让计算机能够分析不同角度的手势，在之后的扫描中，能够通过与样本库的比对与相应的算法，识别出每个手势的意思。

       通过提供的大量的手语库，计算机便可以学习与识别手语的手势动作。最后将识别的信息通过文字的形式转化出来，显示在屏幕上，完成人机之间的交互。聋哑人或者与聋哑人交流者便可以通过阅读屏幕上的文字信息获取对方手语的意思。

3. 总结

       基于数字图像处理的手势识别可以被广泛的应用在许多公众场合，例如医院，餐厅，银行等场所。工作人员可以通过仪器对聋哑人的手语识别，再以文字的形式显示再屏幕上向聋哑人传递信息。这种方式相比于纸笔的交流更加方便快捷。对于手语不熟悉的聋哑人也可以通过佩戴手语识别的设备或者在手机上安装手势识别的应用程序，识别其他聋哑人的手语含义，打破手机交流的障碍。这为打造残疾人无障碍的交流环境创造可能，为聋哑人的交流提供跟多的便利。

 

参考文献：

[1]	任海兵,祝远新,徐光祐,等. 连续动态手势的时空表观建模及识别[J]. 计算机学报,2000,(8).doi:10.3321/j.issn:0254-4164.2000.08.007

[2]	唐文杰. 基于FPGA的动态手势识别系统的研究与实现[D]. 上海师范大学,2015.

[3]	张良国,吴江琴,高文,等. 基于 Hausdorff距离的手势识别[J]. 中国图象图形学报A辑,2002,(11).doi:10.3969/j.issn.1006-8961.2002.11.008.