NYU Hand Pose Dataset与SCLI的matlab实现——与回头一想

为了获得高效的手部分割数据集，我们尝试用超像素的方法改造NYU数据集。跑了一个SLIC算法后，我们看看这个NYU数据集。

NYU hand pose dataset

1.a看个例子

用matlab打开工程，运行visualize_example.m

1.b深度图像存储的问题

数据集中图像有3种：RGB，深度图，合成深度图。RGB图像的存储是用3个Byte(8位2进制数据)表示，深度图和合成深度图采用的是第2个Byte和第3个Byte表示的16位深度数据。

虽然不知道NYU所谓的合成手部数据是怎么得到的，不过用这个数据来制作标签明显是更加准确的。

1.c标签的存储和读取

标签存储在joint_data.mat中，包括uvd坐标和xyz坐标，前者是图像坐标，后者是世界坐标。（相机编号，图像编号，关节点编号，（x，y，z））。都是浮点数

接下来我们用基于matlab的超像素分割算法搞定这个手部分割算法。

https://www.peterkovesi.com/projects/segmentation/#opennewwindow

2.

 

2.b

2.c

2.d

后来一想，这必须要一个完整的手部模型，才能更好的得到遮挡的结果，进而得到分割的结果。后来一想，我他妈没事搞啥分割啊？我的目的是为了加速徐方宇的训练，给他一个更好的初始值，那么关键点和部件分割不是有一样的效果吗？我的核心工作应该是关键点检测和强化学习下的参数优化。