手部部件分割网络设计

相较于通用的实例分割的任务,手部部件分割任务的特殊性在于:

(1)由时序信息可以预估出分割块的位置和大小

(2)使用的是深度图,通过补全,分割的结果能不能是个3D的

(3)候选框的数量、位置和大小比较固定,但会受到遮挡的影响

(4)目标单一

(5)是一个凹多边形,不过部件是凸多边形

(6)部件大小具有相关性

   (7)部件之间相互连接关系是固定的三维的

(8)特征融合与注意力模型的结合

仍光辉

现在做detection的竞争相当激烈,能记住的就是ross kaiming团队和sunjian老师团队,还有今天的主角daijifeng老师团队了

 

深度图像的特殊性:

RealSense 技术是 Intel 公司在 2014 年国际消费类电子产品展览会(CES2014)推出

SR300的信息

存在与距离相关的测量误差,物体距离 RealSense F200 越远,所采集到的表面深度信息越少。而 RealSense F200 的深度测量偏差与距离成正比,

手部部件分割网络设计_第1张图片

 0.1~0.2m 范围内的深度值,存在深度数值不稳定的现象,当 RealSense F200 逐渐靠近钢板时,钢板右上侧深度图连续出现强度减弱的波动阴影

手部部件分割网络设计_第2张图片

原始深度点云中存在的冗余背景、空洞噪声以及可能存在的部分深度值小于 160mm的不稳定前景对象,利用 2.4.2 节确定的柑橘果实识别的近景探测范围,以 160~700mm 的距离阈值进行场景点云的分割,进而获得去除冗余背景、空洞噪声和不稳定前景之后的柑橘点云区域。
手部部件分割网络设计_第3张图片

为了做部件分割,常用深度图的处理方法和存在的问题:

对于简单的几何体,可以寻找的特征有:横截面特征+点云边界,

手部部件分割网络设计_第4张图片

手部部件分割网络设计_第5张图片

手部部件分割网络设计_第6张图片手部部件分割网络设计_第7张图片

手部图像的部件分割,存在什么特殊性,现有方法把握了哪些,还有什么地方可以挖掘:

 

《基于深度摄像的手势识别关键技术研究》胡丽华

目前,基于深度手势识别技术的研究尚处于起步阶段,手势识别仍然存在巨大
的挑战,手势的高维度问题,手指间的自遮挡,快速的手势运动,以及手势识别
处理速度,不可控制的环境等都是影响手势识别的精度和效率的因素。基于普通
视觉图像的手势识别相关的研究工作已经很多,但大多数这类系统和方法仍不具
有鲁棒性,所取得的实际效果远不如基于数据手套等入侵式设备的方法,而基于
深度摄像的手势识别技术的研究也尚不够深入,大多数研究还停留在对静态手势

识别的研究工作上,识别的准确率也有待提高。总之,手势识别仍然存在巨大的
研究空间,随着深度摄像头的普及,可以预见基于视觉的手势识别技术将被广泛
应用到人机交互的各个领域中,具有非常大的研究意义和商业价值。 
手部部件分割网络设计_第8张图片

 

手部部件分割网络设计_第9张图片

 

部件分割也被称为手势分解,对于基于手部估计来说至关重要。

手部部件分割网络设计_第10张图片

手部部件分割网络设计_第11张图片

手部部件分割网络设计_第12张图片

《基于深度数据的人体动作分割与识别》 杨睿

主要看看人家怎么使用深度图,他们的方法可不可以改造为手势分解(部件分割)

手部部件分割网络设计_第13张图片

手部部件分割网络设计_第14张图片

手部部件分割网络设计_第15张图片

手部部件分割网络设计_第16张图片

手部部件分割网络设计_第17张图片

手部部件分割网络设计_第18张图片

手部部件分割网络设计_第19张图片

手部部件分割网络设计_第20张图片

手部部件分割网络设计_第21张图片

你可能感兴趣的:(论文挖宝)