东南大学计算机视觉博士招生,基于计算机视觉的手势识别及人机交互技术的应用研究...

基于计算机视觉的手势识别及人机交互技术的应用研究

【摘要】：手势交互具有自然、直观等优点,已成为人机交互领域中的重要部分与研究热点。手势交互技术可按输入设备分为多种类型,例如数据手套、加速传感器、触摸屏、单目摄像机、深度摄像机等。本论文研究的是基于单目视觉的手势交互技术,它通过分析裸手的图像信息来识别手势的类型或语义。该技术不需要额外的设备,更符合人类的交互习惯,但是有限的输入信息导致了一些具有挑战性的问题。人手的高自由度、环境的复杂性等均会影响手势识别的正确率与运算速度。为此,本文提出了能用于复杂环境的手势分割与识别算法,尤其解决了人脸的干扰问题,在这些算法的基础上设计开发了一个实时的手指-视线人机交互系统。本论文主要内容与贡献如下:(1)针对复杂环境下的手势识别问题,本文采用肤色分割与背景差分法相结合的方法提取手势区域,在YCbCr颜色空间建立基于直方图的CbCr肤色模型,以及结合帧间差分的背景分割模型。为了消除手势位置的改变、背景中类肤色的物体以及动态的背景对手势分割造成的干扰,对肤色与背景模型进行了实时地更新。在此基础上,提出了一种基于Hu矩、轮廓凸性与紧性的支持向量机分类算法,实现了6种静态手形的识别。实验表明,该手势分割与识别算法能在复杂背景下快速且准确地提取目标,对手势方向、尺寸变化以及手指结构变化均具有较强的鲁棒性,识别率正确率达到98%。(2)基于单目视觉的手势识别系统中,人脸处于摄像头视野内,并经常与手部发生重叠。由于人脸与手的颜色与纹理特征非常类似,对手势识别的稳定性造成很大的影响,因此,实时准确地分离重叠的手与人脸区域是本文最重要的内容之一。针对背景中存在人脸干扰的问题,本文提出了一种基于部件模型与边缘修复的手势分割算法,当手与人脸重合时,利用分层Chamfer距离匹配算法定位手势区域;考虑到手指的灵活性,将人手分为手掌与各手指的子部分,再利用基于图结构与梯度方向直方图的支持向量机分类器来检测这些子部分;为了解决手与人脸的交界处的边缘模糊不清的问题,采用提出的边缘修复法来获得完整的子部分轮廓线,将这些修复后的轮廓组合起来即可得到精确的手势区域。实验表明,该算法对头部运动、手势几何变形以及不同用户的差异性具有鲁棒性,在包含手与人脸重合情况的数据库上获得94.6%与8.7%的分割真正率与假正率,为进一步实现手指-视线交互奠定基础。(3)为了进一步提高复杂背景下的手势分割性能和实时性,论文进一步引入深度学习算法,提出一种基于卷积神经网络的手势分割算法。深度学习是机器学习与人工智能发展中一个突破性的新技术,它能自动地从原始图像数据中学习特征,避免了人工提取特征。论文设计并优化了一个基于全卷积神经网络的深度网络结构,该网络主要包含4个卷积层与1个反卷积层。实验表明,该算法成功解决了人体其他部分、不同光照、复杂环境等对手势分割的干扰问题,并对不同被试的差异性以及手势的几何形变具有很高的鲁棒性。测试样本集的真正率与假正率分别为93.8%与4.3%,优于传统的算法。该网络结构在GPU上实时运行,运算速度为18毫秒/帧,能够满足实时交互应用条件。(4)论文针对电脑、手机和智能电视三种不同的使用环境,结合提出的各种手势分割与识别算法,建立了一种基于单目视觉的手指-视线交互系统。通过优化设计交互模式、框架与算法流程,重点研究了通过手指与人眼视线来自适应定位的人机交互方式。用户面对不同的终端执行预定义的手势即可实现实时操作,例如移动光标、拖放、缩放、单击、双击、复制粘贴。基于人眼视线的自适应光标定位法便于用户通过人眼与手指的相对位置快速且准确的移动光标,并且能自适应地修正由于缺少深度图像信息而造成的定位误差。实验表明该系统对不同的终端都成功实现了上述各种交互功能,使用户在人机交互中获得更自然与舒适的体验。

【相似文献】

中国期刊全文数据库

前16条

1

翟朋辉;王静怡;;一种简易手势识别装置[J];山东工业技术;2019年12期

2

钟习;陈益强;于汉超;杨晓东;胡子昂;;融合情境感知信息的超声波手势识别方法[J];计算机辅助设计与图形学学报;2018年01期

3

王健;朱恩成;黄四牛;任华;;基于深度学习的动态手势识别方法[J];计算机仿真;2018年02期

4

杨欣怡;李双;;基于手势识别的智能电视交互专利技术综述[J];科技创新与应用;2018年24期

5

宋昆哲;闫晓虎;田乐;王奇俊;刘珂;;基于多点特征提取的手势识别的研究[J];科技创新与应用;2018年25期

6

丁伟利;胡艳玲;申亚辉;刘洪海;;基于虚拟试验箱的康复手势识别算法研究[J];高技术通讯;2017年03期

7

袁博;查晨东;;手势识别技术发展现状与展望[J];科学技术创新;2018年32期

8

罗于恒;王洋;刘伟;;一种非接触式的手势识别装置[J];科技与创新;2018年21期

9

孙竟豪;;基于深度学习的手势识别研究[J];计算机产品与流通;2018年09期

10

于汉超;杨晓东;张迎伟;钟习;陈益强;;凌空手势识别综述[J];科技导报;2017年16期

11

耿海霄;;基于条件随机场的连续手势识别算法[J];现代计算机(专业版);2016年05期

12

江铁成;;基于视觉手势识别技术的实践研究[J];合肥师范学院学报;2016年03期

13

高畅;蒋浩;毛天露;王兆其;;基于双重优化的连续手势识别方法[J];图学学报;2015年01期

14

钱玉娟;;手势识别成人机交互新趋势[J];中国经济信息;2018年10期

15

16

卫文龙;史春耀;王健羽;;深度图像和表观特征基础下的手势识别[J];赤子(下旬);2016年12期

中国重要会议论文全文数据库

前10条

1

祝远新;徐光佑;黄浴;林学;俞志和;;一个基于表观的孤立手势识别系统[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

2

张宏源;袁家政;;基于视觉的手势识别新方法综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

3

邓智方;袁家政;;基于深度学习的视觉手势识别综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

4

郑颖;姚登峰;鲍泓;乔良;;基于机器学习的手势识别研究进展[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

5

管珊珊;张益农;;基于Kinect的手势识别研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

6

易晓;秦圣峰;康金胜;;基于手势识别技术的快速三维建模(英文)[A];第十届中国科协年会论文集(三)[C];2008年

7

郑颖;李培峰;罗恒杰;徐成;鲍泓;;交警手势识别的研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

8

沈世宏;李蔚清;;基于Kinect的体感手势识别系统的研究[A];第八届和谐人机环境联合学术会议(HHME2012)论文集CHCI[C];2012年

9

王鼎衡;赵广社;李国齐;邓磊;;基于张量链压缩的卷积神经网络及手势识别应用研究[A];2018中国自动化大会(CAC2018)论文集[C];2018年

10

李腾;郭文成;;基于手势识别的车载音乐控制仪的设计[A];“装备中国”2016年“滨海杯”高端装备工业设计大赛论文集[C];2016年

中国博士学位论文全文数据库

前10条

2

Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年

4

周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年

5

顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年

7

8

赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年

9

覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年

中国硕士学位论文全文数据库

前10条

中国重要报纸全文数据库

前10条

1

实习生 张燕;挥手玩“苹果”的高三男孩[N];中国青年报;2011年

2

本报记者 王伟;巨头看上的“手势识别”能照进现实吗？[N];中国电子报;2019年

3

记者 郝晓明;国内首套手势识别智能无人飞行系统亮相[N];科技日报;2017年

4

本报记者 喻思娈;操作手机，挥挥手就行[N];人民日报;2017年

5

本报记者 董添;谷歌申请手势识别专利引关注[N];中国证券报;2017年

6

倪明 段郴群;谷歌等巨头布局手势识别市场[N];企业家日报;2017年

7

本报实习记者 熊花平;创新让体验触“手”可及[N];中国知识产权报;2019年

8

肖思思;TCL新型数字家电可进行手势识别[N];中国税务报;2007年

9

10

本报记者 张晓丽;未来智能家电真能一“手”掌控[N];辽宁日报;2014年