breif: 2018年的论文，作者来自 荷兰乌得勒支医疗中心（University Medical Center Utrecht, The Netherlands）。原文见此处
摘要
不同类型的动脉粥样硬化斑块和不同程度的狭窄可能导致对冠心病患者的不同处理。因此，冠状动脉斑块类型的检测与分类以及冠状动脉狭窄程度的检测与判断至关重要。本文回顾性地收集了163名患者地临床冠状动脉CT血管造影(CCTA)扫描结果。首先提取冠脉中心线，并将其用于重建各冠脉分支地MPR图像。 为定义参考标准，我们在MPR图像上，通过识别冠脉段的起点和终点，手工标注了 斑块的存在和类型（无斑块、非钙化斑块、混合斑块、钙化斑块），以及冠状动脉狭窄的存在及其解剖学意义（无狭窄、无明显狭窄<50%、显著狭窄>=50%）。提出了一个多任务循环卷积神经网络（RCNN），对MPR图像自动分析。首先，利用3DCNN来提取沿着冠脉的特征，其次，提取到的特征输入到RNN网络，以执行2个多标签分类任务。第一个分类任务用于检测并识别斑块的4种类型，第二个分类任务用于确定解剖学上的冠脉狭窄等级。用于训练和测试的数据集分别包含98和65名患者的CCTA图像。对于冠脉斑块的检测和分类任务，本文方法达到0.77的accuracy，对于狭窄检测和解剖学意义分级，本文方法达到0.80的accuracy。结果表明，采用本文方法进行冠脉斑块和狭窄同时自动检测的方法式可行的。这可能根据是否存在冠脉斑块以及是否需进一步进行心血管检查来对患者进行自动分流。
引言
冠状动脉疾病（coronary artery disease, CAD）是目前最常见的一种心脏病。冠状动脉粥样硬化斑块在冠状动脉壁上堆积时，易引发CAD，可能引起狭窄，也就是 冠脉腔狭窄或闭塞，限制心肌的血液供应，可能导致心肌缺血。动脉粥样硬化斑块可按其组成分为钙化斑块、非钙化斑块和混合型斑块（含有钙化和非钙化成分的斑块）。其中钙化斑块被认为是较为稳定的，其在冠状动脉中的数量是心血管事件的一个强有力的预测因素。与钙化斑块不同，非钙化斑块和混合斑块被认为是不稳定的，更容易破裂。这种破裂可导致急性冠状动脉综合征，并可导致心肌不可逆损伤，即心肌梗死。由于不同类型的斑块和不同程度的狭窄导致不同的患者管理策略，因此冠状动脉斑块和狭窄的检测和表征至关重要。
冠状动脉CT血管造影(CCTA)是一种公认的诊断和排除疑似冠心病患者的方法。它允许无创检测和表征冠状动脉斑块和冠状动脉狭窄分级。目前，这些任务通常在临床通过视觉评估进行，或半自动化地首先利用腔和动脉壁分割，然后确定斑块或狭窄的存在。然而，前者在不同的观察者之间，即使是由经验丰富的专家之间，都存在很大的主观性差异。而后者依赖于冠状动脉腔和壁的分割，这通常是耗时和繁琐的，特别是在大量动脉粥样硬化斑块或成像伪影存在的情况下，其过程相当繁琐。
鉴于斑块检测的重要性，已经提出了许多冠状动脉斑块检测和定量的方法，迄今为止，(半)自动化方法已被设计用于检测钙化或非钙化斑块。许多方法已经被提出并用于在非对比CT和CCTA扫描图像上进行自动分割和量化冠脉斑块[3,11-13]。这些方法使用机器学习来分析CT扫描的轴向重建。通常，接近专家水平的出色性能是可以实现的。然而，使用CCTA自动检测和定量非钙化冠状动脉斑块的研究较少。尽管钙化斑块由于其较高的CT密度，其视觉检测在CT/CCTA中是比较直接的，而非钙化斑块，尤其是混合性斑块，由于与邻近组织的对比度较低，这类斑块的检测更具挑战性。因此，与检测钙化的方法不同，标准的视觉评估以及(半)自动检测非钙化斑块的方法通常需对拉直的multi-planar reformatted(MPR)图像进行分析。MPR图像可以更好地显示动脉腔和识别动脉壁中难以描绘的非钙化斑块。为了检测和量化非钙化斑块，以前的方法在预先确定的感兴趣区域对CT值进行手动或半自动阈值化，通常，这些方法需要专家进行大量的手工交互。尽管混合斑块的存在通常在临床视觉评估中被报道，就我们所知，自动检测和定量这种斑块的方法还没有被提出。
由于冠状动脉狭窄的检测和分级是非常重要的，已经发展了许多方法来(半)自动检测和分级冠状动脉狭窄。这些方法或利用机器学习方法来分析冠状动脉中心线附近（如[16-18]），或分割冠脉腔（如[19-23]）。利用管腔分割进行狭窄检测的算法首先勾画冠状动脉管腔，然后通过分析所描绘动脉管腔的局部变化和异常来检测和量化狭窄。[21]首先提取动脉中心线，然后采用图形切割方法和稳健的核回归（kernel regression）对动脉腔进行分割。然后，为了检测和分级冠状动脉狭窄，将节段管腔的直径与健康管腔的预期直径进行比较，而健康管腔的直径可通过对冠状动脉内腔直径的回归估计得到。[22]采用水平集模型(level-set model)对动脉内外壁分别进行分段。然后通过比较这些动脉壁的形态来检测和分级狭窄。此外，利用机器学习进行狭窄检测的算法首先沿着动脉中心线计算大量特征来描述局部图像强度和动脉几何形状，随后使用有监督分类器（supervised classifier）来检测和量化狭窄。例如，[17]将动脉狭窄表述为沿动脉中心线的异常血管横断面,用手工特征描述血管截面形状及其强度分布，然后用支持向量机检测异常血管截面。[18]首次使用冠状动脉的上下行特性作为随机森林回归变量来估计冠状动脉的健康直径，然后，根据局部动脉直径的比例估计狭窄的程度，使用最大内接球估计，与估计的健康直径。
在此，我们提出了一种自动在CCTA扫描中检测和描述冠状动脉斑块类型，检测和确定狭窄及其解剖学意义的方法。为了进行自动综合分析，采用多任务递归卷积神经网络(RCNN)对MPR图像中提取的中心线附近区域进行分析，同时进行两项分类任务。在第一个任务中，网络检测并表征冠状动脉斑块的类型，即无斑块、未钙化、混合或钙化斑块，在第二个任务中，网络检测并确定冠状动脉狭窄的解剖意义，即无狭窄、无显著性狭窄或显著性狭窄。RCNN分析沿动脉中心线的邻近区域，定义为沿中心线的小体积序列。这个定义使RCNN成为可能，RCNN由一个3D卷积神经网络(CNN)和一个递归神经网络(RNN)串联而成，从较小体积的斑块中提取图像特征，而不考虑斑块长度，然后将提取到的所有特征沿斑块聚集。我们的贡献包含4个方面。首先，我们提出联合对斑块和狭窄进行分类，而之前提出的方法要么检测到斑块，要么检测到狭窄。其次，与以往的自动方法不同，我们的方法不需要对冠状动脉管腔和/或壁进行分割，也不需要利用动脉管腔的几何信息。相反，它只需要冠状动脉中心线。第三，我们是第一个使用深度神经网络来处理冠状动脉斑块和狭窄的分析任务，或者更具体地说，使用3D-CNN和RNN来分析医疗数据。最后，以前对冠状动脉斑块进行分类的工作需要对每一个受斑块影响的体素进行详细的参考标注，这种手动标注非常具有挑战性，并且非常耗时。在目前的工作中，我们仅使用弱标注的参考(一个病灶的起点和终点，该病灶的所有体素都有一个单一的标记)来检测和表征斑块，从而大大简化了手工标注的过程。
数据
A 患者和图像数据
本研究包括回顾性收集了2012年至2016年在我院临床获得的163名患者进行CCTA扫描（年龄：59.28.8岁，126为男性）。所有的CCTA扫描都是使用一个由心电图触发的步进射击协议在256个检测器的行扫描仪上(Philips Brilliance iCT, Philips Medical, Best, 荷兰)。管电压为120 kVp，管电流为210 ~ 300mas。对于体重<80kg的患者，注射对比剂使用6ml /s的流速，共得到70 mL的碘酰亚胺。将图像重建为平面内分辨率为0.38 - 0.56 mm，切片厚度为0.9 mm，切片增量为0.45 mm。
在每张CCTA图像中，冠状动脉中心线都采用文献[25]的方法获得。该方法需要在感兴趣的动脉中手动放置一个种子点，然后提取出动脉中心线，该中心线位于口和CCTA图像中显示的最远端点之间。利用提取的中心线，对各动脉重建0.3 mm各向同性的MPR直像，用于进一步分析。
B 参考标准
为了确定动脉粥样硬化斑块和冠状动脉狭窄的参考标准，我们使用了冠状动脉的MPR图像(如图1所示)。由于只有动脉的直径大于1.5 mm用CCTA进行临床评估，因此本文中对直径>1.5mm的冠脉才进行标注。斑块类型和狭窄的解剖意义由专家使用定制软件手动注释，并遵循指南心血管计算机断层摄影学会(SCCT)报告冠状动脉疾病。对于每个斑块，专家标记其起点和终点、斑块类型(非钙化、钙化、混合)以及由斑块引起的解剖学意义上的狭窄类型（无显著狭窄<50%、显著狭窄>=50%）。狭窄的显著性是通过对斑块引起的管腔狭窄的最大等级的目视估计来确定的。值得注意的是，斑块体素并没有被分割，只是识别出了包含斑块的动脉部分。专家还对不同患者的一些无斑块、无狭窄的动脉段进行了标注。我们将动脉的标注和分析部分称为节段。然而，注意这些不是解剖学上定义的冠状动脉段。
由于病人管理和治疗策略取决于在节段、动脉和病人层面的诊断，我们还评估了该方法检测狭窄的能力，并在动脉和患者层面对其解剖学意义进行分类。因此，专家提供的节段级标签被翻译成动脉级和病人级如下：根据各节段中最严重的狭窄程度进行标记。如果在任何一个标注的节段中没有发现任何有意义的狭窄，则认为该动脉无狭窄。同样，患者根据其动脉中最严重的狭窄显著性进行标记，或认为无狭窄。
163名患者的数据集包含534条动脉，1259条手工标记的病灶节段。手工标注的节段包括37个非钙化的、161个混合的和317个钙化斑块，这些斑块导致了不显著的狭窄。此外，还有29个节段非钙化，91个节段混合，41个节段钙化，均有明显狭窄。583个无斑块、无狭窄的正常阶段。在这些标注的节段中，左前降支(LAD)及其分支共528条，左回旋动脉(LCX)及其分支305条，右冠状动脉(RCA)及其分支426条。
为了评估观察者间的一致性，另一名训练有素的观察者，对参照标准不加观察，按照相同的指导方针对同一组动脉进行标注。
方法
为了检测和表征冠状动脉斑块的类型，以及检测和确定冠状动脉狭窄的解剖学意义，设计了RCNN。提出的工作流程如图2所示。最近，RCNNs已成功地应用于视频识别和描述(如[26]、[27]、[28])、目标识别(如[29])，语音建模[30]，并在医学图像分析(如[31]，[32]，[33]，[34])。RCNNs将CNN与RNN串联起来分析一个连续的输入。CNN独立提取序列中每个元素的图像特征(例如，视频片段中的帧、句子中的单词、心脏周期中的心脏期)，然后将这些提取的特征输入RNN, RNN将分析整个序列中相关的序列相关性。
在这项工作中，在临床实践中根据斑块和狭窄对部分动脉进行分类后定义了标注参考。因此，我们只识别含有斑块的动脉段，而不是标注动脉腔的所有横截面或动脉壁的所有体素。考虑到斑块沿整个节段的出现对其类型的表征和狭窄的存在和意义的确定是重要的，因此需要分析沿整个节段的动脉。我们不是提取一个单独的、可能很大的、覆盖当前段的卷，而是将段表示为沿着其中心线的小卷序列。这使得我们能够使用一个相对较浅的CNN来独立地从较小的体积中提取图像特征。分析小体积的浅CNN可能有更少的参数，因此不容易过度拟合。为了聚合和分析沿着线段的所有小体积的特征，我们使用了一个RNN。对于整个分析序列，网络1)检测并表征冠状动脉斑块，即将该段分为不含斑块、含未钙化斑块、含混合斑块或钙化斑块;2)检测并确定冠状动脉狭窄的解剖意义，即将该节段分为无狭窄段、无显著性狭窄段和显著性狭窄段。
图3显示了所提出的RCNN的示例。网络的输入是一个最大长度为25个25x25x25的立方体组成的序列，这些立方体序列是从MPR沿冠状动脉中心线间隔5个voxel提取得到的。根据训练集中最长的标注斑块选择最大长度。立方体的大小设为25，以便它包含整个动脉腔和动脉附近可能需要的正样本重建。每个立方体被输入到3D CNN进行特征提取。该3DCNN由三个卷积层组成，卷积层的kernel size为
3x3x3，输出channel分别为32、64、128。每个卷积层后面都有一个2x2x2 Maxpooling 和batchnormal层。3DCNN提取的特征输入到RNN。RNN由两层
64个GRU单元。除了RNN的输出层外，CNN和RNN层都使用ReLU作为激活函数。为了同时执行这两个分类任务，RNN的最后一层的输出被送入两个独立的多类softmax分类器，第一分类器有4个类别输出，用于检测斑块和表征其类型(无斑块、非钙化、混合、钙化)。第二分类器有3个类别输出，用于检测狭窄并判定其解剖意义(无狭窄、无显著狭窄、显著狭窄)。RCNN总共有340,295个参数。
评估
对网络的性能评估主要从节段、动脉和患者水平3个层次进行。对于分段级的评估，只考虑位于手动标注的分段边界内的中心线上的预测标签。动脉水平的评估，所有预测的标签沿完整的动脉中心线被考虑在内。在患者水平的评估中，所有沿着患者所有动脉完整中心线的预测标签都被考虑在内。
当一个自动标记的片段与一个手动标注的共享其标记的片段重叠至少1mm时，自动标记的片段被认为是斑块类型或狭窄意义的真正阳性分类。相反，当一个节段上的所有点均未被预测为阳性斑块或狭窄时，我们认为该健康节段被准确地检测为不存在斑块或狭窄（原文直译地意思是，检测斑块不存在(无斑块)或狭窄不存在(无狭窄)地true positive）。
由于大多数患者有多个不同类型的动脉斑块，因此斑块检测和表征的评估仅在节段水平上进行。计算所有片段和标签预测的平均准确率，即正确标记片段的平均百分比。为了评估整体表现，计算F1得分的未加权平均值。这是对每个标签分别进行的，然后计算所有标签的未加权平均值，在所有段上进行平均值。鉴于斑块标签的多种类别，采用未加权地k准则(unweighted Cohens k metric)来测量预测斑块标签和参考标准之间的可靠性。
在节段、动脉和患者水平上对狭窄的检测和特征进行评估。如果自动检测到的动脉中心线或患者动脉的任何标签分别与该动脉或患者的参考标签匹配，则自动判定该动脉或患者的狭窄显著性为真阳性。相反，动脉或患者只有在其动脉的任何点或任何患者的动脉中没有发现狭窄时，才被认为是真正的阳性。对于斑块评价，计算平均准确率和未加权平均F1分，评估预测狭窄标签的总体一致性。根据狭窄程度，Cohens线性加权k准则(Cohens linearly weighted k metric)被用来测量预测狭窄标签和参考标准之间的可靠性。
实验
从163名患者的可用数据集中，分别随机选择81名(50%)和17名(10%)患者的CCTA扫描进行训练和验证，其余65名(40%)患者的扫描结果被用来测试该方法。所有的CNN和RNN超参数在初步实验中仅使用训练和验证扫描来确定。
在训练之前，使用了几种数据扩充技术来增加训练集的大小。首先，为了使网络不受围绕冠状动脉中心线旋转的影响，对所有立方体沿冠状动脉中心线进行0到360度的随机旋转。其次，为了使网络对定义线段的点的人工标注的微小误差不发生变化，我们通过随机选择步长为5voxel，均匀分布在3voxel的立方体中心来改变节段序列。第三，为了使该网络对提取冠状动脉中心线可能存在的误差具有鲁棒性，每个立方体的中心在其原点周围随机移动最多2个体素，可向任何方向移动。
对网络进行了mini-batch的训练，只包含手工标注的节段。在数据集中，斑块类型和狭窄程度的分布不平衡。为了避免对数据集中最常见的斑块类型和狭窄的潜在过拟合(即钙化斑块无明显狭窄)，在训练期间进行了分层随机数据抽样。一个mini-batch包含了斑块类别相对平衡的节段，而不考虑狭窄的重要性。第二个mini-batch包含了狭窄等级相平衡的片段，而与斑块类型无关。 对每个节段，从MPR volume中沿动脉中心线提取，跨越整个节段 地一个立方体序列。每个softmax分类器使用类别交叉熵作为损失函数，所有层使用L2正则化\gamma= 0.001.损失函数定义为：
训练过程中，一个mini-batch 包含36个序列（即36个节段），使用Adam优化器，学习率为0.001，在每层rnn后加随机dropout避免过拟合，训练迭代次数为50000。作者还关于数据增广进行了实验对比，采用同样地数据集和参数，一个进行数据增广，一个未进行增广，训练得到2个模型，对比得出，未进行增广地模型有在训练集上过拟合地表现。
训练过程中，作者使用了一个由起点和终点定义地节段，而在测试过程中，由于测试集没有节段地标注，因此作者对冠脉中心线上地每个点都进行了预测。具体的，以中心线上某点为中心，沿中心线以步长5voxel提取固定长度地立方体序列（如序列长度为5）。将提取地长度为5地立方体序列输入到RCNN模型，得到该点处的斑块和狭窄类别的概率，对斑块和狭窄任务，分别选取概率最大的类别作为该点的狭窄分级和斑块类型。
斑块检测和分型
首先在每一段标注的节段上评估RCNN对斑块检测和分型的性能。其次，在标注的节段上进行了对斑块检出性能的评估（识别为阳性斑块or阴性斑块），模型达到0.85的准确率。在对斑块检测和分型的评估（检出结果分为无、钙化、非钙化和混合4种），模型达到0.77的accuracy。最后，作者还进行了斑块检测和分型对冠脉分支的依赖，结果表明，在LCX、RCA上分别取得0.81和0.72的accuracy。
狭窄检测和分级
与斑块评估类似，增加了在患者水平和冠脉水平的狭窄检测评估，此处不做详述。
其他
作者还进行了其他方面的实验，如将2个分类任务通过一一组合采用单个分类任务（即斑块类型的4种类别，分别和狭窄类型的3个类别进行一一组合，形成新的斑块-狭窄类别）。实验结果表明，这样采用单任务的方式得到的模型性能不如2个分类任务的结果。再比如，通过消融法，对比了RNN对模型的作用，结果表明，与CNN后接2个fc分支进行2个分类任务相比，RNN的性能更好。详细内容见原文，此处不做详细解释。