医学影像手术规划和手术导航

 1.外科医生戴上HoloLens，该平台会在患者身上显示手术螺钉的正确安装位置，帮助医生快速找到这个位置。通过显示精确的角度数，来支持实时校准。

2.利用手势单独调出脊柱图，有利于医生查看和分析。可放大缩小全息界面，让一些重要的信息停留在视野范围内。

3.为了让 MR 图像叠加层的精度更高，Scopis用红外摄像头添加了额外的 3D 追踪，所以我们看到HoloLens 和手术器械上面装有一个个小小的定位点3D 跟踪增加了全息图像覆盖的精度，就算移动患者的位置也不会造成精度缺失，它会跟着患者一起移动。

4.“全息导航平台”还有一个很大的优点，就是降低患者和医生受辐射照射的危险。因为手术时医生要通过核磁共振、CT 等数据来判断手术位置、角度和深度，但有了它的协助，可以减少医生判断的时间。

二. 法国Medtech公司研发 ROSA新一代多功能手术机器人

http://news.medlive.cn/ns/info-progress/show-132317_181.html

1.定位精确。ROSA具备4种注册和配准方式（体表标记点注册、颅骨植入标记点注册、框架标记点注册、无标记点的激光自动注册），其中无标记点的激光自动注册是目前惟一实现术中激光定向、定位的机器人系统。

2. 计划精巧。强大的影像处理功能可将病人多种影像资料（如CTA、MRA等）进行高质量融合，形成三维图像，进而根据靶点核团或血肿形态、颅内血管走行等设计个性化手术路径。ROSA机器臂术中运行范围大，具备360°六维自由度和自动传感装置，理论上无手术盲区或手术死角。

3. 操作安全。ROSA机器臂动作幅度可控精度为0.1mm，可满足操作精度要求极高的DBS植入术等手术。ROSA手术计划软件可融合fMRI、DTI等数据，根据手术目的和入路特异性保护重要功能区和白质纤维束。

4. 操作简易。相比胸腹腔手术常用的“达芬奇”手术机器人，ROSA术前准备更简单，术中操作更容易，提前设定好手术靶点和手术路径后，机械臂自行定位和穿刺。

5. 适用性广。ROSA给神经外科领域带来革命性改变，是目前最适用于DBS植入的机器人系统，也是惟一可适用于神经内镜手术并可术中实时导航的机器人系统。

三. 安徽医科大学第一附属医院第三代国产骨科手术机器人—“天玑”

http://www.eeworld.com.cn/medical_electronics/article_201801068376.html

1. 世界上唯一一个能够开展四肢、骨盆骨折以及脊柱全节段（颈椎、胸椎、腰椎、骶椎）手术的骨科机器人系统。它的出现，标志着我省骨科手术迈入智能化、精准化、微创化时代。

2. 手术时,对患者进行三维影像扫描，图像被同步传输至“天玑”骨科手术机器人系统。医生在计算机导航系统屏幕上设计好钉道，“天玑”的机械臂将手术工具精确定位到手术位置，套筒指向目的钉道的进钉点。接着，“天玑”沿着套筒钻入导针，插入患者身体内部，确认位置无误后，再把螺钉套进导针固定、拔出导针。之后，医生对患者再次扫描，确认螺钉位置与规划的一致。

3. 机械臂主机、光学跟踪系统、主控台车构成。从仿生学的角度形容，光学跟踪系统就像是机器人的“眼”，不仅透视洞察着骨骼的每一个深处，还实时监控每一个手术环节；机械臂就是机器人的“手”，6轴的设计兼顾了运动灵活性和操作稳定性，且能达到亚毫米的精度；而主控电脑系统就等于机器人的大脑，智能传达着医生的想法给以上两个设备，帮助医生进行“路径规划”。

四. ENT（耳鼻喉）手术导航系统更精确地实施功能性内窥镜鼻窦手术 (FESS)

五.2010年，第三军医大学与中科院联合研发出用于脊柱微创手术流程的专用机器人

六. 复旦大学数字医学研究中心研制成功的高精度神经外科手术导航

 

 

 

 

 

 

 

 

 

第二部分 医学影像、手术规划和手术导航流程

 

 

1.成像技术

科学家研制出各种不同的成像设备，包括描述人体组织解剖信息X光（X-ray），超声成像（UltrasoundUS），计算机断层扫描(Computed Tomography，CT)，磁共振成像（Magnetic Resonance Imaging，MRI），以及描述人体组织代谢信息的正电子发射断层扫描（PositronEmission Computed Tomography ， PET ），单光子发射计算机断层扫描（Single-Photon  Emission ComputedTomography，SPECT）,内窥镜手术机器人可以遵从医生的控制,实时获取病灶部位的真实影像,并使用机械臂进行微创手术操作.

2.图像融合技术

   多模态图像信息的任何形式的综合利用称之为融合。像素级图像融合、特征级图像融合”和决策级图像融合。主要方法有神经网络法、贝叶斯估计法、模糊聚类法和专家系统法等。

3.三维重建技术

将收集的薄层ＣＴ数据导入腹部医学图像Ｈ维可视化软件系统（ＭＩ－３ＤＶＳ），使用基于体绘制交互的分割算法、区域生长法和面绘制等方法进行肝脏、肝脏周围脏器、肝脏肿瘤、脉管系统（肝动脉、肝静脉、口静脉和胆管）等Ｈ维图像重建，并通过软件图形处理工具对３Ｄ图像模型进行平滑和去噪等处理。

 

 

 

 

 

 

4.图形分割技术

肿瘤手术导航中图像分割与配准方法研究_赵丽亚(论文来源)

切割技术肿瘤分割方法往往源于如今最先进的其它结构的分割技术。不同的分割技术包括：1)  传统方法（阈值分割，区域增长分割），2)  分类及聚类方法K-nearestneighbours  （KNN），模糊C均值 （FCM），蒙特卡罗随机场模型（MRF），基于数据集引导的分割，期望最大化（EM），贝叶斯方法，支持向量机（SVM），人工神经网络（ANNs），3) 变形模型方法（参数变形模型，几何变形模型）, 随机森林方法表现出很大的优越性, 卷积神经网络（Deep Neural Networks，DNNs）。肿瘤分割包括基于生成模型及基于判别模型两大类。

 

5.图像配准

医学图像配准是指通过寻找某种空间变换，使两幅图像的特征点达到空间位置和解剖结构上的完全一致，要求配准的结果能使两幅图像上所有的解剖点或至少是所有具有诊断意义以及在手术区域内的点都达到匹配。

配准要解决的是同一解剖结构在不同角度、时间或成像设备采集的图像中的位置对应关系问题。包括输入数据维数、图像的特征、变换方法、图像计算区域、优化过程等方法, 在对图像进行维数一致性处理的操作中，或是将3D图像投影到2D空间，或是将2D图像转换到3D空间。按照一致性处理后的图像维度可分为二维投影法、二维半（伪三维）反投影法和三维重建法, 基于特征、标记点、像素、基于灰度、基于梯度的方法，基于频域方法的原理依据傅立叶中心极限定理。

自动化的 SIFT 特征、Surf特征的提取。针对图像特征形变而进行的图像映射变换，解决了刚体变换中的平移、伸缩、旋转等图像失真问题。另外，还有相当一部分的算法是将手工描述特征自动化的特征抽取相结合，通过手动或自动化提取图像中明显的结构特征，如骨骼的边缘、血管的分叉口等特征来帮助计算机更精确地展开图像配准工作.

基于 CNNs 的图像预配准、双层深度迭代配准.

软件算法、图形信息处理、图形信息可视化等三方面构成，分别采用ITK，VTK，QT 等工具进行实现。

6.手术规划

医学影像的三维可视化、器官及病灶的三维重构、交互式手术路径计划及手术效果模拟。手术进行之前,通过术前三维医学影像数据重建患者重要脏器和肿瘤的三维模型并加以分析,然后医生可以在相应的三维交互界面中设置微波消融手术的进针方案以及微波作用的时间和功率,并通过计算机模拟方法在术前模拟医生设计的手术方案的临床执行效果,为医生提供可靠的手术指导,从而降低手术的执行难度。

数值计算的方法根据医生制定的手术路径计算实际的手术效果。本节重点讨论微波热场的数值计算过程。与微波热场模型相对应,其计算过程主要也设计三方面的计算内容:微波能量分布场计算、组织温度分布场计算和热损伤场计算。

基于热场模拟和医学影像引导的计算机辅助微波消融手术术

7.导航技术

手术导航技术的目的是应用患者的医学影像及由其重构生成的三维模型来指导临床手术的实施。在手术进行时,当手术器械指向患者身体内部的任意部位时,它的坐标信息都会被导航系统实时捕捉,并显示在由医学影像重构而得的患者的三维模型上。这样,即使不用给患者开刀,医生也能够实时了解手术器械和患者器官及肿瘤之间的相对关系来指导手术的执行。

主动系统、半主动系统、被动系统导航。按照导航信号类型不同，可分为光学导航、机械导航、超声导航、电磁导航等。按照导航有无影像以及影像建立方法，可再细分为基于CT、基于X射线、基于MRI等多方式的导航系统。还可按照手术对象，应用领域等进行分类。

术中定位技术: 机械臂定位、光学定位、电磁定位、光纤定位和视觉定位

 

 

 

 

第三部分 其他辅助技术

1.深度学习技术在医学影像上的应用

计算机辅助诊断，图像配准与图像融合，影像导引治疗。

2.VR技术

VR技术能充分地与神经外科的各项高新科技（如术中核磁共振、神经导航、功能影像技术等）结合，在神经外科疾病的诊断、治疗、评估预后及神经外科手术术前规划、模拟等方面展现出巨大的优势。

3.增强现实（AR）

能够将虚拟计算机数据准确融合到实际手术场景的可视化技术，无需医生在图像显示器和实际操作区域进行视野切换，改善医生的手眼协调问题，提高图像引导手术的精度.

二维投影显示系统需借助投影装置将医学影像数据叠加到人体上实现影像增强手术引导。头戴式三维显示器通过向观察者左右眼视野分别提供不同的影像构建视差感，人眼通过双目视差图在空间中聚焦得到三维立体场景。立体手术显微镜也是采用双目视差图构建立体场景，并通过光学叠加的方法把引导信息叠加至手术显微镜成像视野中。三维空间透视融合系统不仅能够显示具有立体视差、运动视差且空间位置准确的三维影像，而且能够准确叠加融合到真实场景中起到增强现实的作用，是实现增强现实图像引导手术的重要解决方案。

 

4.３Ｄ打印技术

将３Ｄ巧印模型带入手术室与术中手术情况进行实时比对，通过调整３Ｄ打印物理模型并置于最佳解剖位置，对关键部位快速识别和定位，可为手术关键步骤提供直观的导航。通过精确定位病灶并确定手术切除平面，实时引导重要脉管的分萬和肿瘤病灶的切除.

5.ＩＣＧ介导的近红外光检測技术

采用光学分子影像手术导航系统引导下的ＩＣＧ近红外巧光显像对中央型肝脏肿瘤患者进行肿瘤切除手术，将切缘、切除的病灶行病理检查。

第四部分 发展方向

 1.图像引导空间是用人脑静态模型建立的，不能反映开颅后脑组织随时变化的情况，从而引发定位误差；

2.颅脑手术最易受到损伤，最迫切需要保护的是脑白质传导束，而现有神经导航系统均不能准确提供脑白质传导束的相关信息，对术中传导束的保护不能发挥其应有的作用；

3.光学定位仪是神经导航系统的核心部件，而现有光学定位仪研发所依据的理论基础，已无法实现其跟踪性能的大幅提升，从而也限制了神经导航系统的进一步发展。

4.导航系统复杂难懂,不易于医生接受,还需要医生掌握外语,需要医生有较高的专业素养.

5. 现有的图像配准、图像分割等方法大多数都集中于2D图像的处理, 但是对于一些3D数据特有的多维度信息却没能很好的利用。因此直接从3D层面上进行数据处理，从长远上来看将会取得更好的应用效果。

6 ．手术开始后手术区域会产生整体位移 ,有些组织器官会变形。这种变化要求重新采集图像和重要配准。 如何在术中迅速配准 ,并重新利用术前图像，还有待发展。