论文阅读-使用CNN从双平面X光片走向自动化3D脊柱重建以进行统计脊柱模型拟合

Toward Automated 3D Spine Reconstruction from Biplanar Radiographs Using CNN for Statistical Spine Model Fitting----使用CNN从双平面X光片走向自动化3D脊柱重建以进行统计脊柱模型拟合

来源： IEEE Transactions on Medical Imaging（TMI ）

时间：2019 .11

作者：B. Aubert， Carlos Vazquez等 （加拿大蒙特利尔CHUM研究中心）

⚡️ 初步阅读笔记

作者为什么研究这个课题？

To date, 3D spine reconstruction from biplanar radiographs involves intensive user supervision and semi-automated methods that are time-consuming and not effective in clinical routine.

现有的半监督实时的方法耗时且不能应用于临床

文献解决的问题？

This paper proposes a new, fast, and automated 3D spine reconstruction method through which a realistic statistical shape model of the spine is fifitted to images using convolutional neural networks (CNN). The CNNs automatically detect the anatomical landmarks controlling the spine model deformation through a hier archical and gradual iterative process.

本文提出了一种新的，快速且自动化的3D脊柱重建方法，通过该方法，可以使用卷积神经网络（CNN）将逼真的脊柱统计形状模型拟合到图像。 CNN通过分层和逐步的迭代过程自动检测控制脊柱模型变形的解剖标志。

(用的是校准的双平面放射图–PA和LAT)

The main challenge of using a stereoradiographic imaging system to reconstruct bones in 3D is to accurately estimate 3D models from partial information (only two projections). Moreover, the visibility of important anatomical landmarks can vary considerably across patients in radiographs due to the overlap of structures in projection (soft tissues, organs, air cavities), noise and poor contrast [17], [18]. Hence, reconstructing a spine in 3D from two radiographs remains a challenging problem.

使用立体射线照相成像系统以3D形式重建骨骼的主要挑战是从局部信息（仅两个投影）准确估计3D模型。而且，由于投影结构（软组织，器官，气腔）的重叠，噪声和差的对比度，重要的解剖学界标的可见性在X线片上可能因患者而异[17]，[18]。因此，从两个X射线照片重建3D脊柱仍然是一个具有挑战性的问题。

实验的数据和采集？

​ 在医院追溯收集了400名患者，每个患者都有一对经过校准的PA和 LAT图像（有EOS成像获得）

实验用到的理论或模型？

Our proposed method aims to automate the 3D spine reconstruction process. Two basic components were developed to this end (Fig. 1). First, a statistical spine model (SSM) was developed allowing to (1) predict detailed vertebra models and their relative positioning in the spine from a few landmarks positioned in images and (2) regularize the shape during landmarks detection. The SSM adopts a parametric geometrical representation mixing for the first time both global spinal curve shape and local vertebral shape in a compact representation. Moreover, the SSM captures the statistical patterns in a spinal normalized space and uses a PCA-based model allowing pondering constraints imposed to the model. The second component proposed is a CNN model with a new architecture to infer landmark displacements taking a pair of PA-LAT patches at two resolutions to consider both context and local vertebrae x-ray appearances. These components are then combined in an automated process dedicated for the multi-objects spine structures. After a step of SSM pre-positioning (initialization), a global detection step aligns vertebrae in radiographs by fitting gradually their (confidence weighted) body center positions. A step of local fit involving the detection of more local features, as pedicle and endplate centers, then refines the 3D reconstruction using a posterior model.

为了评估应用于自动临床测量的建议方法，我们计算了参考值（计算为三个专家测量的平均值）与从自动3D重建中提取的参数之间的差异。提取的脊柱参数为主Cobb角（CA），顶椎骨的椎骨轴向旋转（AVR），后凸T1-T12和T4-T12以及脊柱前凸L1-L5和L1-S1（图1 ）。提取的骨盆参数是骨盆倾斜度（PT），骨盆发生率（PI）和骨坡度（SS）。

使用两个主要模型：

1：统计脊椎形状的SSM模型

SSM将脊柱形状分为两个层次：脊柱曲线的全局形状和椎骨的局部形状。

1.1 根据图像中定位的几个界标预测详细的椎骨模型及其在脊柱中的相对位置

2.1 在界标检测期间对形状进行正则化

SSM首次采用参数化几何表示形式，以紧凑表示形式同时混合了整体脊柱曲线形状和局部椎骨形状。此外，SSM捕获脊柱标准化空间中的统计模式，并使用基于PCA的模型，从而可以考虑对模型施加的约束。

（根据论文中的描述，会在统计脊椎模型这一步（主要是椎骨）进行变形，且引入了3D骨面重建，可以处理大型网格道德连续变形。）

总体脊柱形状描述（左）和患者框架（中）中的脊柱对齐预处理（与通过脊柱高度归一化的不平衡框架中）（右）。 骨盆结构由两个模拟股骨头的球体，一个用于end骨终板（S1）的3D椭圆形和一个用于sa（关节的两个3D点（SIJL，SIJR）组成。

SSM在整体脊柱和局部椎骨形状的层次结构级别上定义，并在检测步骤中充当正则化器。这种脊柱模型的第一个优点是重建范围（C7-S1）包括椎骨C7，这对脊柱侧弯的分析和分类很重要。脊柱模型可提供合理的3D脊柱重建，并根据图像中检测到的一些界标产生逼真的脊柱侧弯脊柱变形。这表明所提出的位姿+形状模型捕获的椎骨的位置，方向和形状之间存在很强的潜在关系，该模型非常适合于脊柱建模，因为它可以处理多对象结构[17]，[43] ]和支持形状规则化（在多对象注册过程中与自动界标检测结合使用时）。脊柱模型从图像中检测到的一些地标中提供了一组详细的3D网格。通过采用一组变形，我们推广了脊柱结构移动最小二乘的网格变形算法。

2：预测回归的CNN

对于训练，两个射线照片中椎骨界标的实际2D位置是从专家用户执行的3D重建中提取的3D位置的2D投影。从每个实际位置开始，使用统一定律随机进行斑块移位（斑块大小为100x100像素）会生成地标相对位移的概率分布（图4.A）。为了减少射线照相对比度的可变性，对每个斑块进行局部直方图均衡和最小-最大归一化。我们随机分配80％的培训（320名患者）和20％的测试（80名患者）。我们按形态学类别（C7，T1-T5，T6-T12，L1-L5）合并椎骨数据，并根据检测步骤和要检测的结构定义了斑块移位的范围和斑块空间分辨率。 CNN由卷积层的两个分支组成，一个分支的输入带有一对下采样因子为1/4的PA + LAT补丁，以捕获上下文，一个分支的输入带有下采样因子为1 / 3捕获更多本地特征。它们由三个块交替的卷积层组成，然后是用于视图空间尺寸缩减的最大合并操作。上下文分支的内核大小为5x5，本地分支的内核大小为3x3。然后将特征图平整并连接起来，以将特征馈送到包含1,024个神经元的两个密集层中，这些层连接到包含VBC的2D位移，每个视图的端板中心和椎弓根中心的输出层（图5），从而可以进行计算3D约束。为了模拟位移回归的误差，均方误差用作训练的成本函数。用于梯度下降的优化器是RMSProp算法（使用Keras Python库）。

CNN体系结构用于根据上下文/本地双平面补丁预测地标。输入是一对具有两个空间分辨率的PA + LAT色块。上层的CNN分支提取了椎骨的周围（周围），而下层的CNN分支提取了更多有关X射线中椎骨外观的局部特征。输出参数是每个视图的椎体，终板和椎弓根中心。选定的特征图显示在不同的深度。

VBC（vertebral body centers 锥体中心）

（PA和LAT图像指的是拍片的方位不同呈现的不同角度的图像）

3 自动3D重建过程

​ 该过程使用SSM和CNN地表检测来计算自动重建。

骨盆和脊柱自动检测步骤。 在自动初始化步骤（A）之后，首先通过SSM（绿色）估算VBC位置，然后逐渐检测（B），并将其固定为SSM（橙色）中的约束。 局部拟合步骤（C）将检测到的端板和椎弓根中心添加为SSM中的约束，以获得最终的3D重建。

Step A: Automatic initialization. 自动初始化

Step B: Iterative 3D/2D global registration of VBCs. VBC的迭代3D / 2D全局注册

Step C: Automatic initialization. 局部拟合检测步骤

来自当前VBC模型位置（绿色）周围的随机采样点（红色）的CNN多重预测示例。 左图所示，CNN预测不一致（较大的圆圈方差），平均目标预测的权重W低。右图，所有预测都收敛于相同的目标（较小的圆圈方差），并且平均目标预测在SSM中的贡献较高。

得出的结果？

fig,10 使用3D重建网格的质量控制：模拟的X射线与实际的X射线叠加（左），投影的网格轮廓（中）和3D窗口中的曲面渲染（右）。

fig.11 与脊柱侧弯患者的专家（绿色）相比，自动3D重建（黄色）失败，脊柱侧弯患者的变形主要发生在左腰椎区域，并且在X线侧位射线可见度差。

实验评价指标

通过使用地标（VBC，端板中心和椎弓根中心）并计算自动重建的地标和参考地标之间的3D残留距离（计算为三个专家重建的平均位置）来评估方法的重建精度。

论文总结或思考

The results obtained with the proposed automated 3D spine reconstruction method represents a significant advancement toward the ultimate aims of full-automated analysis of scoliosis and other spinal deformities from biplanar radiographs. Proposed method will speed-up the 3D spine reconstruction process, allowing fast 3D visualization and clinical measurements of the spine. We show that the algorithm can handle asymptomatic spines, as well as moderate and large scoliosis deformation. We plan to add a fine-tuning step with local mesh deformation to fit as much radiographic image information as possible. Moreover, we intend to assess 3D model shape accuracy to be ready for 3D applications such as 3D printing, mono-modal or multi-modal registration with EOS multiviews acquisition or CT-Scan modality for image fusion.

用提出的自动3D脊柱重建方法获得的结果代表了朝着从双平面X线片全自动分析脊柱侧凸和其他脊柱畸形的最终目标的重大进步。 提议的方法将加快3D脊柱的重建过程，从而实现脊柱的快速3D可视化和临床测量。 我们证明了该算法可以处理无症状的脊椎以及中度和大型脊柱侧弯变形。 我们计划添加一个局部网格变形的微调步骤，以尽可能多地拟合放射线图像信息。 此外，我们打算评估3D模型的形状准确性，以准备好3D应用程序，例如3D打印，具有EOS多视图获取的单模态或多模态配准或用于图像融合的CT扫描模态。

推荐阅读（参考文献）