静态手势识别总体方案

静态手势识别总体方案

  • 0.说明
  • 1.实现目标
  • 2.实现步骤
        • 1)总体思路
        • 2)每部分效果
            • 基于高斯肤色模型和动态阈值的手势分割
            • 基于Canny算法的轮廓提取
            • 基于Hu矩的量化
            • 基于傅里叶描述子的量化
            • 分类
            • 融合特征分类
  • 其他尝试

0.说明

静态手势识别是2019年四五月份做的一次设计,实验平台是Matlab,做法较为传统,只是出去兴趣的入门级尝试。主要针对静态手势,采用肤色模型分离手部区域,提取手势的轮廓信息,采用不同的描述方式进行量化,最后采用BP神经网络和贝叶斯分类器进行分类。点击查看总结文档。后面条件允许的话会逐步更新每一部分的设计思路和代码。

1.实现目标

设计的总体目标是能够在自建的200幅5类手势数据库和上千幅24类标准数据库上实现静态手势的高速和高精度识别。

2.实现步骤

1)总体思路

从获取图像到最终识别大体分为四个步骤,图像获取–手势分割–手势特征提取–分类器分类。其中最重要的手势分割的处理,这也是我在做设计时花费时间较多可最后效果最差的部分。整体结构如下:
静态手势识别总体方案_第1张图片

2)每部分效果

基于高斯肤色模型和动态阈值的手势分割

首先由得到的RGB图像转化颜色空间,使得在另一个域中肤色具有较好的聚类性和一定的抗干扰能力。经过高斯肤色模型和动态阈值分割得到肤色似然图,之后通过开运算去除噪声得到手势二值图像。
静态手势识别总体方案_第2张图片
静态手势识别总体方案_第3张图片

基于Canny算法的轮廓提取

静态手势识别总体方案_第4张图片

基于Hu矩的量化

静态手势识别总体方案_第5张图片

基于傅里叶描述子的量化

依据低频傅里叶描述子的能量占比选择描述子数量
静态手势识别总体方案_第6张图片
傅里叶描述子重建效果
静态手势识别总体方案_第7张图片

分类

分类采用模板匹配法、BP神经网络、贝叶斯分类器,这其中关于模板的选择、选用那种距离描述、BP神经网络调参、朴素贝叶斯原理是需要我们注意的地方。
静态手势识别总体方案_第8张图片
静态手势识别总体方案_第9张图片
静态手势识别总体方案_第10张图片
静态手势识别总体方案_第11张图片
静态手势识别总体方案_第12张图片

融合特征分类

联合Hu矩和傅里叶描述子,在特征维数相同的条件下进行实验。
静态手势识别总体方案_第13张图片
静态手势识别总体方案_第14张图片

其他尝试

上面说到曾花费很多时间在分割上面,当时尝试了高斯模型、椭圆模型、线性YCbCr和非线性YCbCr;通过自适应提升算法检测到人脸计算模型参数作为手部的肤色参数;采用运动信息与肤色结合,分步检测肤色区域等方式。当然不论是最终的设计中还是这些尝试,分割方案均属于最传统的方法,当前基于学习方式的分割方案是大家研究的方案,在设计中也被指责分割方案差,不过作为图像或者模式识别或者兴趣爱好,这个第一次尝试算是马马虎虎及格了。

你可能感兴趣的:(静态手势识别)