【外星眼halcon视频教程】计算机视觉技术的又一巨大进步！检测人复杂手部姿势并跟踪多人！

现如今研究人员使用计算机视觉技术来检测人的手部姿势并能跟踪多个人，这也意味着计算机视觉技术的又一巨大进步！

来自卡内基梅隆大学机器人研究所的一组研究人员开发了一种算法，可以检测和读取视频中的多个人的身体姿势和动作，包括每个人手指的姿势。

该方法是使用来自PanopticStudio，Panoptic Studio是一个两层的圆顶，内置480个VGA摄像头，运行速度为25fps，使用硬件时钟自动同步，31个高清摄像头以30 fps运行，与硬件同步时钟，标定它与VGA摄像头的空间位置。此外，该球机还具有10个Kinect II 3D深度传感器（1920 x 1080（RGB），512 x 424（深度），以30fps运行，标定它与其它传感器的位置）以及5个与高清摄像机同步的数字投影仪。

480 VGA摄像机采用全局快门CMOS图像传感器，固定焦距为4.5 mm，模块化排列，24个摄像头，圆顶上有20个标准六边形面板。高清摄像机位于这20个面板的中间位置，以及许多不包含任何VGA摄像机的面板中间。十个Kinect II 3D深度传感器策略性地放置在圆顶内部。所有这些组件协同工作，为“互动捕获”提供了一个庞大的Multiview系统。

从工作室获得的信息，卡内基梅隆大学的研究人员正在开发OpenPose，这是一个使用OpenCV和Caffe用C ++编写的实时，多人关键点检测和多线程库。 OpenPose代表了第一个在单个图像上联合检测人体，手和面部关键点（总共130个关键点）的实时系统。此外，据研究人员称，系统关键点检测的计算性能不受到图像中检测到的人数增加而变小。

研究人员表示，无论是实时跟踪多人还是姿态检测，都是巨大的挑战，特别是后者。当人们用手握住物体并做出手势时，相机不可能同时看到手的所有部分，并且与脸部和身体不同，大型数据集不存在已用标签注释好的手部图像。

但对于每一只只显示部分手部的图像，通常会有另一个角度来自不同角度的图像，手部的全部或互补视图，这是Panoptic Studio发挥作用的地方。

“单次拍摄可以让你看到一个人手的500个视图，另外还可以自动注释手的位置，然而，手太小，无法通过大多数相机进行注释，因此在本次研究中，我们仅使用了31台高清摄像机，但仍能够构建大量数据集。”
“Panoptic工作室非常支持我们的研究，”谢赫说。“它现在被用于通过联合训练来改善身体，面部和手部探测器。此外，随着从人类的二维模型转移到三维模型，该设施自动生成带注释图像的能力将是关键。”

总之，多幅图像的联合算法为我们提供了全面的信息，Panoptic Studio集成式的拍摄提供了可能软硬件的结合之下，我们能获取到更准确的信息，为我们的决策提供依据。检测人复杂手部姿势并跟踪多人！这将是计算机视觉技术的又一巨大进步！