【论文阅读笔记】Advanced Endoscopic Navigation: Surgical Big Data, Methodology, and Applications

论文小结

  本文如标题所示，是一篇医疗内窥镜导航为主体的论文。该论文发布于2018年，由厦门大学、名古屋大学和韦仕敦大学共同发布。该文有点久远了，可以看看大概。

  基本没啥了解，纯挑着感兴趣的翻译了一下。
  其中大部分方法都是带着“先验”，也就是实现拍照的一堆图像，可以在体外重构出该人的3D结构，然后再与内窥镜图像进行结合定位，进而实现导航的功能。
  还做了一些内窥镜相关知识的科普及展望。

论文简介

  在介入治疗（Interventional）的内窥镜检查（比如支气管镜检查，结肠镜检查，腹腔镜检查，膀胱镜检查）已经是广泛实施的一种方式，是为了诊断可疑病变或指导体腔内各种器官的微创手术。
  内窥镜导航系统，寻求将大数据和患者解剖结构相关的多模态信息（比如计算机断层扫描、磁共振图像、内窥镜视频序列、超声图像、外部跟踪器等）集成，用于控制医用内窥镜和手术工具的运动，以及指导外科医生在使用内窥镜期间的行为。
  然而，实现下一代上下文感知导航内窥镜检查仍然具有挑战性。本综述对内窥镜导航的各个方面进行了广泛的调查，特别是在内窥镜导航技术的发展方面。作者将该综述分为四个部分：（1）研究内窥镜导航中涉及的多模态信息的大数据；（2）重点关注于内窥镜导航的多种方法；（3）回顾临床应用中不同内窥镜手术；（4）讨论内窥镜导航中发展的新技术和有前景的方向；

1.1.1 内窥镜诊断

  尽管内窥镜活检广泛应用于临床应用，但其诊断率取决于采集样本的相关区域的精确定位。 大多数内镜活检中，可疑组织在内镜成像中无法观察到，因为它们通常隐藏在管状结构的表面之外，这表明外科医生只能利用术前的解剖信息和手术知识技能在手术室中盲目穿刺可疑组织。

1.1.2 内窥镜治疗

  内窥镜手术，通常也称为微创手术，通常是指直接从体内切除癌性肿瘤的手术切除手术。而内窥镜治疗则使用放射性或药物注射来原位杀死肿瘤组织。内窥镜治疗通常采用激光消融，它可以在几秒钟内在高温下破坏包括癌前组织和癌组织在内的问题区域。

1.1.3 评论

  当体内的解剖目标和手术工具可以在内窥镜图像中可视化时，内窥镜成像可以轻松地进行活检、肿瘤切除和激光消融等内窥镜诊断和治疗。然而，在大多数情况下，在内窥镜图像中无法观察到这些目标。这就提出了两个基本问题：（a）去哪儿；（b）如何使用各种内窥镜到达那里，从而外科医生能够得到想要的清晰准确的可视化图像，以及关注区域和手术器械的精确实时定位。这些问题为研究人员开发各种先进的内窥镜导航（Advanced endoscopic navigation，AEN）系统提供了动力。

  所以，在内窥镜诊断和治疗中，导航由不同临床应用提出的两个主要问题定义：解剖目标在哪里，以及外科医生如何安全快速地到达目标？这个定义意味着导航可以准确地识别解剖目标的位置，同时使外科医生能够自动了解它们的位置以及在内窥镜干预期间应如何定向与目标相关的手术器械。

外科大数据

  光学内窥镜成像对于大多数微创外科手术来说是不可或缺的，它为外科医生提供了手术区域连续、直接的实时可视化以及手术工具的直观操作。 然而，它也存在一些瓶颈，例如相对有限的光源和视野，使其无法检查食道或结肠等管状器官外部的解剖结构。 此外，它无法可视化许多有用的细节，例如器官表面的神经血管束和出血区域。

  有使用CT/超声内窥镜/磁共振图像/光学相干断层扫描/单光子发射计算机断层扫描，结合内窥镜一起，实时构成导航的。
  也有使用外部传感器（External sensing，指不构成内窥镜一部分的外部设备来跟踪手术器械），基于实时传感或跟踪信息，从而实现导航的。

方法

3.1. Computational Anatomy

  计算学解剖，结合术前图像和内窥镜图像，来定位当前所在的位置和结构。比如结合脑补CT或者牙齿的横截面等。
  每年都会在《Medical Image Analysis》和《IEEE Transactions on Medical Imaging》两本期刊上发表新的医学图像计算方法。

3.2. Surgical Navigation

  在图像引导内窥镜手术中，将器械引导至所需目标通常被定义为手术导航。在这方面，手术导航或主动手术引导是AEN（Advanced Endoscopic Navigation）系统最重要的要素。

  手术导航，可以被描述为计算解剖学，跟踪算法或设备、图像数据融合，以及在内窥镜介入期间协助和指导外科医生的专用仪器的组合。它可以在手术室的术前图像上提供体内解剖结构和器官以及手术器械的准确实时定位。

3.2.1. Vision-based tracking.

  基于视觉的跟踪，是将2D内窥镜视频图像实时配准到术前3D数据的导航方法。3D数据通常呈现为2D虚拟图像，对应于3D术前计算解剖坐标系中的各种内窥镜相机6DoF姿势，包括位置和方向参数（如下图8所示）。本文作者也将这种跟踪方法称为视频体积（2D-3D）配准，它可以通过优化程序来计算：$${}^A{M}_C^i={\mathrm{argmax}}_{{}^A{M}_C^j}\mathcal{F}[I_i,I_j{(}^A{M}_C^j)]\text{\hspace{1em}(1)}$$  其中，${}^A{M}_C^j$是第$i$个内窥镜图像$I_i$预测的最佳相机姿态（optimal camera pose），表示从内窥镜相机$C$到计算解剖结构$A$的变换。$\mathcal{F}(\cdot )$是相似度函数，$I_j(\cdot )$是对应于相机姿态在第$j$次优化迭代的${}^A{M}_C^j$的2D虚拟渲染程序。虽然$\mathcal{F}(\cdot )$也可以定位为相异（dissimilarity）函数，但这样上述方程（1）就变成了${}^A{M}_C^j$的最小化过程。

  有很多作者讨论了基于视频的跟踪。Deguchi （46）等人提出了一种基于选择性图像相似性度量来配准内窥镜视频序列和术前体积（preoperative volumes），该度量由Luo（47）等人改进。而Merritt（48）等人报道了一种交互式CT-视频配准技术，以持续指导支气管镜介入治疗的过程。Mirota（14）等人使用基于高精度3D图像配准的方式，来对齐内窥镜视频和CBCT图像。Luo和Mori（49）开发了一种视频体积配准方法，通过使用判别性结构相似性测量来跟踪内窥镜运动跟踪。Shen（50）等人探索了一种深度重建方法来实现类似的目标。Zhang（51）等人采用基于3D图的优化方法在血管内超声介入期间同时记录位置和方向。

3.2.2. External tracking

  外部跟踪，指的是在内窥镜手术过程中，使用设备和系统实时定位手术器械。这种跟踪技术，通常使用外部位置传感器，例如连接到手术工具来测量其运动的电磁（electromagnetic，EM）传感器，以确定${}^A{M}_C^i$，更新公式如下：$${}^A{M}_C^i={}^A{M}_E{}^E{M}_S^i{}^S{M}_C\text{\hspace{1em}(2)}$$   其中，${}^A{M}_E{，}^E{M}_S^i{，}^S{M}_C$是描述计算解剖结构$A$，外部跟踪系统$E$，外部传感器$S$和内窥镜摄像机$C$之间的空间关系的变换矩阵。计算方式在后续讨论。

3.2.2.1 Calibration

  AEN系统，通常采用内窥镜，EUS探头和带有位置传感器的外部跟踪器组合。这些集成器在不同的坐标系中提供不同的传感器信息。为了将该信息与公共参考系相关联，必须在导航之前执行校准。

  在论文（52）中，相机校准过程采用标准算法和特殊图案（比如棋盘或方形网格）的图像来估计相机的内在参数（焦距、偏斜、畸变和图像中心）。依据这些参数，可以校正内窥镜视频图像上的摄像机失真。这对于基于视觉的跟踪方法尤为重要，因为它提高了导航的跟踪精度。Zhang（53）提出了一种灵活的相机校准新技术，现已用于许多计算机视觉任务。Hartley和Kange（54）同时校准了相机的径向畸变函数以及其他内部校准参数。该方法的优点是它以无参数的方式确定径向畸变，而不需要使用任何特定模型。最近有一篇报道（55），表示有一个统一模型可以校准各种相机参数，例如针孔、鱼眼、折反射和多相机网络。

  手眼校准 (HEC) 旨在确定外部位置传感器（手）和成像设备（眼睛）（例如内窥镜摄像机和 EUS 探头）之间的关系${}^S{M}_C$。 HEC 问题最初出现在机器人领域，几种经典的 HEC 方法 (56-59) 仍在常规使用中。 大多数 HEC 方法通常采用使用特定模式的相机校准的内部和外部参数的结果。 最近，无需相机校准的方法已被用来解决 HEC 问题 (60, 61)。

3.2.2.2 Initial registration

  初始配准，是在实时导航之前确定计算解剖学和外部跟踪系统之间的空间关系${}^A{M}_E$的过程。该过程也称为跟踪器到模型配准，旨在确定方程（2）中的空间变换${}^A{M}_E$。

  基于标记配准和基于无标记配准的额两种策略通常用于计算最优解${}^A{M}_E$。
  基于标记的配准采用放置在身体上或身体内或其表面上可用的自然/解剖基准标记。Wognum（62）等人验证了用于盆腔癌（pelvic cancer surgery）手术的具有30-40个基准标记的可变形图像（deformable image registration）算法。Hughes-Hallett（63）等人回顾了一种用于引导肾部分切除术的基于基准的配准方法。Inoune（64）等人通过植入基准标记提高了用于乳房治疗的基于点的刚体配准算法的准确性。Tabrizi和Mahvash（65）在图像引导神经外科手术期间使用五个基准标记进行初始配准。
  无标记配准不需要任何人工或自然基准标记，而是利用典型解剖结构的约束来估计${}^A{M}_E$。Klein（66）等人提出了一种无基准标记的方法，通过最大化术前体积中的外部传感器测量（external sensor measurements inside the preoperative volume）来预测${}^A{M}_E$。Deguchi（67）等人探索了一种无标记框架，可最小化外部传感器输出和器官中心线之间的距离。同时，Hofstad（68）等人报告了一种在没有任何基准标记的情况下，估计${}^A{M}_E$关系的初始配准策略。Luo（69），Luo和Mori（70）和Luo（71）等人开发了几种无标记配准方法来计算${}^A{M}_E$。

  光学跟踪，使用外部位置传感器来感知粘贴在手术工具上或物体上的红外发射或反光标记。 位置传感器根据传感器从这些标记接收的信息来确定工具的位置和方向。这些标记通常分为主动和被动两类。典型跟踪系统的一个例子是北极星设备（Polaris Device， Northern Digital Inc., Canada）。但是，该设备只能与硬质内窥镜一起使用，其中标记固定在相机远端。

  电磁跟踪系统使用嵌入式传感器线圈来确定物体的位置。每个系统由三个主要组件组成：控制单元、电磁传感器和建立跟踪体积（tracking volume）的电磁发射器。当物体位于跟踪体积内时，线圈中会感应出电流。这些电流用于实时计算物体的位置和方向。

  现有的电磁跟踪系统包括3D Guidance产品套件（Ascension Technology Corporation，美国）和Aurora（Northern Digital Inc.，加拿大）。和Polaris设备相比，这些系统不需要从传感器（工具）到场发生器的视线限制，并且可以嵌入非刚性内窥镜中。如今的电磁跟踪器广泛应用于各种手术导航系统。
  

  尽管光学和电磁跟踪通常用于微创外科手术，但也有许多替代跟踪器可用，下面会进行描述。

  立体视觉用于感知从两个或多个摄像机的视频信息导出的深度信息和3D结构。它是估计视觉场景中对象的位置和方向的强大技术。MicronTracker（ClaroNav，加拿大）利用立体视觉创建新一代跟踪器，可以检测和跟踪特殊标记的物体。该外部（external）跟踪系统采用可见光和计算机视觉来检测完全被动的标记目标，并通过处理标准视频图像来跟踪它们。ClaroNav报道（72）称，MicronTracker可用于各种外科手术，包括图像引导介入治疗（image-guided intervention），消融（ablation）和活检（biopsy）；可以手动或使用机器人操作；并且可以通过提供可视化来协助增强现实（AR）程序。

  惯性跟踪使用连接在内窥镜尖端的微型微机电三轴惯性传感器来测量重力对三个正交加速度计轴中每一个轴的影响 (73)。 与电磁传感器类似，惯性传感器非常小，可以不引人注目地用于内窥镜图像重新定向。 然而，惯性跟踪只能测量姿态的相对变化，而不能确定绝对值。

  光学位置传感器是一种显微图像采集装置，它使用光电二极管阵列将光转换为电流并感知光点的位置。 该传感器包括光学镜头、光源和数字信号处理器，可以测量相对于物体表面的运动。 这样的系统采集连续的表面图像，对这些图像进行处理以确定表面的二维位移。基于光学位置传感器技术，可以创建新的外部跟踪原型来跟踪内窥镜的运动。 该跟踪原型已被证明是导航柔性内窥镜的有效策略 (74)。

  RFID（Radio-frequency identification）可以利用相位差以毫米级精度定位带有 RFID 标签的物体 (75, 76)。 该技术因其无线、极小的RFID标签和固有的强大识别能力而在临床应用中显示出巨大的前景。

  Calypso 系统（瓦里安医疗系统公司，美国）是一种无线四维定位系统，使用一组三个应答器来生成射频波。 该系统为外科医生提供了与目标前列腺的实时精确对准，误差为 2.0 毫米或更好，并有助于避免在前列腺放射治疗期间对健康组织（例如膀胱）产生不必要的辐射 (77, 78)。

  随着光学技术的进步，光纤可用于准连续地检测沿光纤方向的应变和温度。 市售光学反向散射反射计（弗吉尼亚州罗阿诺克的 Luna Innovations）能够沿着 70 米长的光纤检查 700 万个数据点，对应于 10 μm 的空间分辨率。 ShapeTape 设备（Measurand，加拿大）已商业化，用于跟踪各种手术工具。 Koizumi(79) 等人提出了针对 3D US 系统的 ShapeTape 驱动跟踪。Li（80）等人开发并评估了一种基于光纤跟踪的新型身体-座椅界面形状测量系统，Housden (81) 等人使用 ShapeTape 跟踪 2D US 探头以实现徒手 3D US。

3.2.3. Hybrid tracking

  混合跟踪结合了基于视觉的跟踪技术和外部跟踪技术来导航手术器械。它旨在解决单独使用基于视觉的方法或外部跟踪的缺点：例如，上面讨论的初始配准是一个严格的过程，可能会因为组织变形或跟踪设备的固有缺陷而导致导航不准确。
  混合跟踪还指术前数据（例如 CT 或 MR 体积）、术中视频（内窥镜或 US 图像）和外部跟踪测量的多模态信息融合。 准确、实时的融合策略是开发混合导航系统的关键。

  Feuerstein（82）等人提出了柔性腹腔镜US的磁光跟踪。Soper（83）等人报道了基于卡尔曼滤波的支气管镜导航混合跟踪。机器人内窥镜胶囊的混合定位方法已被广泛讨论 (84, 85)。Reichl （86）等人探索了一种保证平滑输出的混合内窥镜跟踪。Luo和其同事（87-91）通过使用随机滤波和进化计算算法开发了几种混合导航方法。

3.3. Intuitive Visualization

  所有术前和术中数据必须适当地呈现给手术室的手术人员。 AEN 需要一个显示系统，为外科医生实时提供关键的结构和功能信息，并且应尽量减少对手术工作流程的干扰。 3D 体积数据必须以直观的方式呈现给外科医生，以便提供重要且易于理解的信息来评估解剖结构和功能。

  导航的主要优点是与多模态数据相关的跟踪手术器械的同步可视化。体积数据可以通过多种方式可视化。

  基于切片的方法通常呈现正交切片，允许外科医生在轴向、矢状和冠状方向上查看患者 3D 数据，如下图9所示。多平面重建是检查具有多个切片方向的体数据的另一种方法。体积渲染是一种可视化技术，它使用传递函数为每个体素分配与体积数据中体素强度相关的不透明度或颜色 (92)。虽然人类视觉系统通常通过边界或材料界面将体积数据中的感兴趣结构与周围图像数据区分开，但表面渲染是分离感兴趣结构并同时渲染表面不透明并使其他组织透明的直观方法（93 ）。表面渲染需要先前分段的 3D 数据，这些数据在中间步骤中进一步处理以生成解剖 3D 模型，例如使用行进立方体算法 (94)。 在这方面，基于体积的方法比表面渲染更适合自动算法。Moreland (92) 最近发表了一项全面的调查，讨论了当前可视化管道的范围。

  AR最初是为了解决如何将3D虚拟物体实时集成到3D真实环境中的问题而开发的。Azuma（95）等人描述了医学、制造、可视化、路径规划和军事行动中的各种应用。正如 Milgram 和 Kishino (96) 分类法所定义的，混合现实是指真实图像和虚拟图像的组合。 AR 技术广泛用于在各种手术干预期间增强术中视力 (63, 97–100)。

3.4. Interactive Software

  为了确保外科医生和 AEN 系统之间的最佳交互，在干预期间结合术前和术中数据非常重要，以便能够以直观的方式可视化它们。 此外，可靠的软件是 AEN 系统的关键组成部分（101），它可以同时实现和更新与实时解剖计算、手术导航和直观可视化相关的各种程序。

  大多数商业导航软件系统都是专有的，但由于其开发需要大量工作，因此有几个开源导航软件平台和公共图书馆可用于学术用途和手术导航开发。 3D Slicer (https://www.slicer.org/) 是一个著名的医学图像信息学、图像处理和 3D 可视化软件平台，运行在 Windows、iOS 和 Linux 等各种操作系统上。图像引导手术工具包 (IGSTK) 平台 (http://www.igstk.org/) 是一个基于组件的框架，为图像引导手术应用提供通用功能。医学影像交互工具包 (MITK) (http://mitk.org/wiki/MITK) 是一个用于开发交互式医学图像处理软件的免费平台。

  3D Slicer、IGSTK 和 MITK 都使用 Visualization Toolkit (VTK) 和 Insight Segmentation and Registration Toolkit (ITK) 的开源库。 ITK (https://itk.org/) 是一个跨平台系统，为开发人员提供了一套广泛的图像分析软件工具，VTK (http://www.vtk.org/) 是一个免费提供的库 用于 3D 计算机图形、图像处理和可视化。

CLINICAL APPLICATIONS

  内窥镜的应用如下表所示，已经包含了很多类型应用于不同部位。

4.1. Neurosurgical Endoscopy

  神经外科内窥镜导航通常使用光学跟踪、MR数据和硬性内窥镜为外科医生提供实时在线指导，提高脑肿瘤切除过程中的准确性和安全性（102）。 虽然神经内窥镜检查不是神经外科的主要方法，但当目标靠近可从自然孔口进入的区域时可以采用它。 内窥镜视频和 C 形臂 CBCT 之间的配准用于指导内窥镜颅底手术 (14)。 最近，托雷斯-科尔佐（103） 等人使用电磁导航 柔性神经内窥镜来探索脑积水患者的脑室和基底池。

4.2. Respiratory Endoscopy

  呼吸道疾病可以通过各种内窥镜检查进行诊断和治疗。 Scopis 混合导航（Scopis GmbH，德国）是一种具有 AR 功能的手术导航系统，适用于内窥镜鼻窦手术 (104)。 最近，讨论了与基于 AR 的鼻内窥镜手术相关的配准和融合量化 (105)，并且引入图像引导喉镜作为传统喉切除手术的可能替代方案 (106)。 高速喉镜记录（High-speed laryngoscopic recordings）已用于创建人类喉部动力学的 3D 重建 (107)。

  支气管镜检查是肺癌诊断、分期和治疗的常规检查，文献（47-50、74、83、91）中描述了各种支气管镜导航系统（下图 10）。 胸腔镜检查或电视辅助胸腔手术通常用于胸膜活检以及肺和心脏的肺部病变 (108, 109)。

4.3. Gastrointestinal Endoscopy

  胃肠道由各种器官组成，包括食道、胃、小肠、大肠（结肠）和直肠。 这些器官可以通过不同的内窥镜进行检查。 食管镜检查是在镇静或全身麻醉下进行的经鼻手术（110），而经口胃镜检查是确定胃癌切除边缘的有效手术（111）。 虚拟胃镜检查是根据 CT 扫描对 3D 上消化道重建进行检查，用于评估胃恶性肿瘤 (112)。

  结肠镜检查用于检测和治疗下消化道的息肉、肿瘤、出血或发炎区域。 然而，由于干预期间可能发生潜在的大变形，EM-CT 或结肠镜视频 CT 配准和结肠镜跟踪对于结肠镜导航的进步仍然具有挑战性 (113, 114)。

4.4. Abdominal Laparoscopy

  腹腔镜检查通常在腹部或骨盆进行，图像引导腹腔镜手术经常用于肝脏手术 (115, 116)。 腹腔镜前列腺切除术广泛用于前列腺癌手术 (117, 118)； 这种机器人辅助手术越来越多地用于前列腺肿瘤切除术 (119)。 导航腹腔镜胃切除术用于治疗胃癌（120）。

4.5. Urinary Endoscopy

  泌尿道包括尿道、肾脏、输尿管和膀胱。 膀胱镜检查在预测膀胱癌的分级和分期方面发挥着重要作用 (121, 122)。 （123）经皮肾镜检查是治疗大块或复杂肾结石的常规外科手术。 腹腔镜 肾部分切除术是切除小肾肿瘤并同时保留肾脏剩余部分的有效方法。（124）已经使用 EM 跟踪开发了 AR 肾切除术导航系统。

4.6. Joint Arthroscopy

  关节镜检查是一种微创外科手术，通过关节镜检查、诊断和治疗髋部和膝部等关节内的疾病。 计算机辅助关节镜导航系统已被探索用于髋关节和膝关节手术 (125, 126)。

4.7. Others

  其他外科手术也使用内窥镜进行各种干预。 心脏手术可以使用具有增强可视化功能的 3D 高清内窥镜系统 (127)，内窥镜腕管松解术已用于手部手术 (128)。 脊柱手术可以使用硬膜外镜来识别硬膜外腔的异常情况，建立诊断并进行治疗（129）。

总结

  下一代导航内窥镜系统，也就是内窥镜智能化，如下图所示，包括：（1）智能视频增强和摘要；（2）增强现实可视化；（3）手术跟踪和导航；（4）机器人操作；（5）多功能治疗诊断学；