动作捕捉系统用于微创手术

微创手术是医生通过病人体表的微小切口，将细长的手术工具探入病人体内进行手术操作。与传统的开口手术相比，这种方式可减少手术对病人造成的创伤，缩短恢复时间。但是，微创手术也给医生的操作带来了一系列困难：比如受小孔限制，医生操作灵活度低；屏幕显示二维图像获取手术场景信息缺乏深度感知，手部抖动被细长的手术器具放大影响手术质量等。

随着科技发展，机器人技术为解决这类问题带来希望。机器人具有操作稳定、定位准确的优势；通过增加工具的自由度还可以提高手术的灵活性；利用动作捕捉在内的定位导航设备，可以使医生在三维图像显示下完成操作，解决了手眼不协调的问题。利用机器人技术辅助微创手术是一种有效的方案。

近年来，国内外大量研究人员，从不同角度进行了针对微创手术以及手术机器人的研究，提高微创手术的效果。

1.弘前大学和北海道大学

腹腔镜手术是一门先发展起来的微创方法，将腹腔镜插入腹腔内拍摄图像，并利用特殊器械进行手术。由于腹腔镜摄像头提供的视野狭窄，如果在视野外的组织与手术器械接触，造成损伤和出些很容易被忽略。而且，由于外科医生和操作腹腔镜的助手为不同人，两人信息不能实时同步，很容易造成风险。虽然现在已经有手术导航系统，但是传统的导航系统基于术前医学图像信息，随着手术的进行，实际手术情况与导航信息之间的差距会越来越大。日本弘前大学、北海道大学、东北学院大学和防卫大学的研究人员提出了一种利用动力学模型模拟手术过程中器官变形的手术导航方法,并结合AR/VR技术进行直观显示。

研究人员利用医学图像，在仿真软件生成三维有限元模型，并建立了对应腹腔镜、和手术器械模型。腹腔镜和手术器械上固定多个反光标识点，利用动作捕捉系统获取各点位置数据，从而确定内窥镜和手术器械的实时姿态以及末端位置信息，利用这些数据驱动仿真软件中二者的运动。

 当手术器械与组织接触，并导致组织变形时，仿真软件经计算也会产生接触力及对应变形。将模拟结果叠加在腹腔镜图像上呈现给外科医生，即得到直观的图像效果。

 

2.加州大学圣地亚哥分校

微创手术中目前主要应用两类手术器械，一类是传统的手持刚性器械，这类工具价格较低，但是要求入口至手术部位为直线路径，这可以适用于一些手术；另一类是一些最近开发的机器人化设备，这类设备具有更高的稳定性和灵活性，可以用于更多的手术场景、完成更复杂的任务。但是这类机器人通常占据较大的空间，是主从控制的遥控机器人。

加州大学圣地亚哥分校的研究人员提出了一种手持式具有关联位置控制的同心管机器人。这类机器人具有大型机器人在手术中的灵活性，同时具有更小的体积。这种设备适合需要医生在环的场景，用于手术中引导排除体液。

 为了验证这种机器人的性能，研究人员进行了杂乱环境下末端接触目标的测试。在一个透明盒子中放入多个小球，其中五个为目标球，盒子顶部开一个15mm的孔，作为入口。操作者控制同心管机器人末端接触目标小球。实验中在机器人上固定反光标识点，利用动作捕捉系统记录机器人的位姿，来评估操作者使用机器人的灵巧性和可用性。

3.香港中文大学

微创手术中已广泛应用柔性外科腹腔镜和手术器械。实时传感等机器人辅助技术已经应用在腹腔镜中，其中柔性工具的形状传感和位置估计可以有效的为医生提供信息，帮助医生更灵活的控制器械。

香港中文大学的研究人员提出了一种新的 3D 形状传感算法，用于使用多芯光纤布拉格光栅 (FBG) 传感器进行的柔性内窥镜手术。由于信号噪声和环境扰动影响，直接使用 FBG 传感器进行形状传感和位置估计不准确，尤其是手术器械较长的情况。为了解决这个问题，研究人员引入了一种基于模型的滤波技术，用于消除噪声。

 研究人员通过在不同条件下的模拟实验中完成形状传感任务，并使用集成多芯 FBG 光纤的机器人辅助结肠镜系统进行实验来广泛验证我们的算法。实验对比了利用不同方法估计的3d形状，并延结肠镜5个跟踪点位粘贴反光标识点，利用动作捕捉系统获取轨迹真实值（ground truth）。

4.客户案例

NOKOV度量动作捕捉系统基于光学原理，是国内有代表性的厂家。除了广泛应用于无人机、无人车等智能体集群系统，其室内定位方案，近年来也与多所高校合作，应用于微创手术机器人的研究和产品开发，包括南开大学、吉林大学、山东大学等。

吉林大学---线驱动微创机器人

吉林大学机械与航天工程学院的冯美教授团队从力平衡的角度，提出了一种具有恒定曲率的柔性手术器械的结构，可以快速精确响应指令，满足实时手术的主从控制要求。为了验证该柔性手术器械在精细操作下的性能，研究人员进行了原型机实验验证。实验中医生主手控制器械在目标位置抓取圆环，如图所示。

 冯美老师团队采用NOKOV度量动作捕捉系统实时获取主手（医生控制）和从动手术器械的运动轨迹信息作为实验结果，将反光标志点分别固定在主手和器械的末端执行器上。