运动捕捉系统原理
目录
一、什么是运动捕捉
1.惯性动作捕捉
2.光学式动作捕捉
（1）无标记点式光学动作捕捉原理
（2） 标记点式光学动作捕捉原理
二、光学式动作捕捉系统的构成
1.红外光学镜头
（1）镜头分辨率
（2）镜头频率
（3）镜头视场角
2.反光标识点
3.软件及配件
三、应用场景
1.机器人&工程方向
2.电影、CG动画、游戏方向
3.虚拟主播、虚拟直播方向
4.运动分析、运动康复方向
5.虚拟现实方向
一、什么是运动捕捉
运动捕捉是记录物体或人的运动的过程，也被称作动作捕捉或动捕。该技术还涉及尺寸测量、物理空间里物体的定位及方位测定等能够借助计算机直接处理的数据。这一技术广泛应用于机器人、无人机、多智能体集群协同控制、军事、医疗、体育、科研及电影、动画、游戏、虚拟直播领域。从技术原理层面区分，可以将动捕分为：光学式、惯性式、机械式、声学式和电磁式。其中机械式、声学式、电磁式动作捕捉系统，随着时代的发展，受限于自身各种缺点，已逐渐淘汰出市场，现在行业中普遍使用红外光学动作捕捉或惯性动作捕捉。
1.惯性动作捕捉
惯性导航传感器、信号接收器以及数据处理系统构成了惯性传感器式动作捕捉系统。将姿态传感器穿戴在人体各个主要肢体部位，可将姿态信号无线传输至数据处理系统进行运动解算。其中姿态传感器集成了惯性传感器、重力传感器、加速度计、磁感应计、微陀螺仪等元素，得到各部分肢体的姿态信息，再结合骨骼的长度信息和骨骼层级连接关系，计算出关节点的空间位置信息。
优点：
便携且操作简单，可在户外使用。
缺点：
- 定位不准——通过肢体姿态信息进行积分运算得到的空间位置信息具有不同程度的积分漂移，且一些传感器还会被周围环境磁场影响进而影响精度；
- 续航力弱——充电一次后可持续工作时间有限，不适合长时间使用；
- 数据漂移——原理本身基于单脚支撑和地面约束假设，无法进行双脚离地的运动定位解算；
- 动作受限——传感器自身重量和线缆连接还是会对演员的动作表演造成一定约束；
- 成本翻番——尤其在被捕捉对象数量增加时，设备的成本直接成倍增长，丧失价格优势。
2.光学式动作捕捉
通过布置在场地内的多个光学镜头从不同角度捕捉固定在人体/物体表面的反光标识点的位置信息，捕捉其动作姿态。根据被捕捉物/人不同的特征，还可将光学动捕分成无标记点式光学动作捕捉系统、标记点式光学动作捕捉系统。
（1）无标记点式光学动作捕捉原理
- 第一种是基于普通视频图像的运动捕捉，通过提取人体关节点在二维图像中的坐标，再根据多相机视觉三维测量计算关节的三维空间坐标。
- 第二种是基于主动热源照射分离前后景信息的红外相机图像的运动捕捉，也称为热能式动作捕捉，原理和第一种类似。
- 第三种是三维深度信息的运动捕捉，系统基于结构光编码投射实时获取视场内物体的三维深度信息，根据三维形貌进行人形检测，提取关节运动轨迹。
总体而言，无标记点式动作捕捉目前仍存在动捕精度低、动作变形等问题。
（2） 标记点式光学动作捕捉原理
标记点式光学动作捕捉系统凭借多个光学相机从各个角度捕捉黏贴在被捕捉物/人关键节点部位的Marker点，并实时传输到数据处理工作站，利用三角测量原理计算出该点精确的空间坐标，再结算出骨骼的六自由度运动。无论主动式还是被动式光学动捕都是以标记点的类型为依据进行的分类。
a.主动式
使用LED作为标识点，在人体关节部位黏贴LED之后再通过线缆连接，为电源供电。
优点：
跟踪准确率较高，识别鲁棒性好。且自带光源，因此可在室内、室外使用，不受场地限制。
缺点：
- 运动变形——时序编码的LED识别原理是依赖相机在各个时刻对多个的标记点采集成像标识ID，破坏了同步性，而且有效动作帧的采样率偏低，不适合捕捉快速动作及数据分析；
- 精度较低——LED标识点的可视角度小，一个光学动捕镜头的内部往往集成了两个相机近距离采集，而此类窄基线结构直接影响视觉三维测量的精度；
- 成本加倍——同上一个问题，运动时难免出现动作遮挡导致数据缺失，想要解决遮挡盲区的问题，只有成倍增加镜头的数量，而设备成本也随之上涨；
- 人数受限——还是受到时序编码原理的局限，系统只能承载一定数量的标识点，通常同一时间最多不要超过2个人进行动捕采集。
b.被动式
被动式光学动作捕捉系统中使用反光标识点黏贴在被捕捉物/人身上关键节点部位，光学动捕相机发出的红外光由marker表面反光涂层反射到动捕相机中以对该点进行三维空间内的定位。
优点：
技术成熟，高精度、高采样率、低延迟且定位精准，动作表演无障碍，且标记点成本低能够灵活增加、布点，水下环境也可适用。
缺点：
- 环境约束——被动式marker点自身不发光，通过调节光学相机阈值进行采集，阳光直射或其他反射物的干扰会影响捕捉效果；
- 不抗遮挡——反光标记点一旦在运动时被完全遮住，会造成动作错位，需要后期人工修复数据，或者使用光惯混合的方式避免遮挡。
| 性能 | 惯性式 | 无点式 | 主动式 | 被动式 |
| 定位精度 | 低 | 低 | 中 | 高 |
| 采样频率 | 高 | 低 | 低 | 高 |
| 数据质量 | 中 | 低 | 中 | 高 |
| 快速捕捉能力 | 高 | 低 | 低 | 高 |
| 被捕捉物数量 | 中 | 低 | 中 | 高 |
| 运动范围 | 大 | 小 | 中 | 中 |
| 受干扰物 | 铁磁体 | 阳光、热源 | 强光源 | 阳光 |
| 便捷度 | 低 | 高 | 低 | 中 |
| 适用性 | 中 | 低 | 中 | 高 |
二、光学式动作捕捉系统的构成
1.红外光学镜头
作为光学动捕系统的主角，光学摄像头的分辨率、频率与视场角直接影响了整个动捕系统的精度和效果。
（1）镜头分辨率
反光标记点在镜头的画面中是以像素的形式呈现，而像素圆形的中心点则作为该点的二维坐标。由此可见，只要这一像素图形越圆润，其中心点的坐标就越准。
因此，相同条件下，1200万像素镜头采集到的数据精度远远高于分辨率130万像素的镜头。
（2）镜头频率
镜头频率，或称帧速率，是指画面每秒被刷新的帧数，即图形处理器一秒内刷新的次数。其单位通常用fps表示，或用Hz来表示。光学镜头的帧速率越高，意味着捕获的图像信息越多，那么被捕捉人/物的三维空间数据精度更高，动作更为流畅。
（3）镜头视场角
视场角是指以光学镜头为定点，以被捕捉物可通过镜头的最大范围的两条边缘构成的夹角。这个角度代表了光学镜头的视野范围。根据镜头分类，有两种类型：广角镜头、非广角镜头。它们的区别如下：
| 镜头类型 | 可视距离 | 视场角范围 |
| 广角镜头 | 近 | 大 |
| 非广角镜头 | 远 | 小 |
如图所示，广角镜头的视野范围更为开阔，但一个反光标记点所占的像素数量相对较少。反观右侧视场角虽窄，但是采集到的数据精度却高于左侧。
不仅如此，广角镜头的边缘往往存在画面变形，如果被捕捉物处在边缘位置，二维坐标的提取精度也会受到影响。
2.反光标识点
反光标识点是一个实心小球，其内部没有任何电子元件，也不需要供电或连接线，它们的表面覆盖一层反光材料，以反射光学镜头产生的光。使用时通过调整相机自身阈值只对反光标识点进行采样，略掉周围其他物体。
3.软件及配件
包括动作捕捉操作及分析处理软件、POE交换机及固定装置等配件。
三、应用场景
NOKOV度量光学三维动作捕捉系统，采用高精度、低延迟的红外摄像头捕捉反光标识点，采集并生成精准、实时的动作信息，可广泛应用于：
1.机器人&工程方向
红外光学动作捕捉系统往往作为可靠的室内定位手段，为各类智能体，比如无人机、小车、移动机器人、机械臂等提供高精度、低延迟的三维空间位置信息，还可为机器学习验证真值的准确性
案例：无人车集群自主穿越障碍
客户：中国科学院自动化研究所
【动作捕捉经典案例】无人车集群自主穿越障碍
中科院自动化所多智能体协同控制平台编队与自主避障中科院自动化所无人集群系统分为三个子系统，定位子系统、通信子系统与控制子系统，可实现单体无人车和无人机控制、地空协同、集群对战以及无人车、无人机编队表演等功能
https://www.nokov.com/support/case_studies_detail/Multi-Agent-Formation-to-Avoid-Obstacles-Based-on-Motion-Capture-System.html
2.电影、CG动画、游戏方向
在电影制作和视频游戏开发中，光学动捕系统可用于记录动捕演员的动作，并使用该信息来驱动二维、三维CG动画角色。除了肢体动作，还会对演员面部表情、手指细微动作进行捕捉。
案例：游戏制作篮球动作捕捉
游戏制作篮球动作捕捉NOKOV动捕设备广泛应用于游戏制作，或影视动画、虚拟拍摄、虚拟综艺、虚拟演出、TVC等领域。https://www.nokov.com/support/case_studies_detail/motion-capture-basketball-game-demo.html
3.虚拟主播、虚拟直播方向
对比游戏、CG动画等要求高精度实时捕捉真人运动数据，虚拟直播或虚拟路演注重实时性及稳定性，以确保在较长时间播出中，虚拟主播、虚拟偶像依旧保持完好的形象和流畅的动作。
案例：Vtuber虚拟直播应用实例
虚拟数字人教练健身虚拟直播回放
Vtuber虚拟直播应用实例NOKOV光学动作捕捉支持虚拟主播24小时不间断直播https://www.nokov.com/support/case_studies_detail/real-time-virtual-humans-with-optical-motion-capture.html
4.运动分析、运动康复方向
运动分析及运动康复方向通常会和测力台、肌电等设备数据同步，以获取运动学数据并结合力学、解剖学共同分析。
案例：冰雪运动科学实验室
客户：东北师范大学体育学院
冰雪运动科学实验室-东北师范大学体育学院
5.虚拟现实方向
在虚拟现实应用场景中，光学动捕系统会对头盔或手柄及相应配件进行定位，而且介于VR方向场景差别巨大，更要求丰富的产品线及定制化解决方法以满足各类需求。
更多动作捕捉相关案例：
经典案例 | NOKOV度量动作捕捉经典案例https://www.nokov.com/support/case_studies.html