Thorax Disease Classification with Attention Guided Convolutional Neural Network（未）

未完原因：实验总结不详细

Abstract

本文考虑了在chest X-ray(CXR)图像上诊断胸部疾病的任务。大多数现有的方法通常学习以全局图像作为输入的网络。然而，由于疾病的特异性，胸部疾病通常发生在（小）局部区域。因此，使用全局图像训练CNN可能会收到（过多）无关噪声区域的影响。此外，由于某些CXR图像对齐不良，不规则边界的存在阻碍了网络性能。为了解决上述问题，我们建议将全局和局部线索集成到一个三分支注意引导卷积神经网络（AG-CNN）中，以识别胸部疾病。提出了一种基于注意引导的掩码推理裁剪策略，以避免噪声，提高全局分支的对齐度。AG-CNN还集成了全局线索，以补偿局部分支丢失的辨别线索。具体来说，我们首先使用全局图像学习全局CNN分支。然后，在全局分支生成的注意热图的指导下，我们推断出一个mask，从全局图像中裁剪出一个区分区域。局部区域用于训练局部CNN分支。最后，我们将全局分支和局部分支的最后一个池化层连接起来，以微调融合分支。在ChestX-Ray14数据集上的实验表明，在将局部线索和全局信息相结合后，AG-CNN提高了平均AUC分数。

Background

1. On the one hand, using the global image for classification may include a considerable level of noise outside the lesion area.
   使用全局图像进行分类可能包括病变区域外相当程度的噪声。
2. On the other hand, due to the variations of capturing condition,e.g., the posture of the patient, or the small size of the child body, the CXR images may undergo distortion or misalignment.
   由于捕获条件的变化，患者的姿势或儿童身体的小尺寸，CXR图像可能会发生失真或错位。

Data

ChestX-ray14
ChestX-ray14迄今为止最大的胸部X射线数据集。ChestX-ray14收集了30805名独特患者的112120张正面胸部X射线图像。每一张X光片上都有14种常见胸部疾病的一种或多种类型的标签。

Contributions

1. Chest X-ray images classification suffers from exploring the distinct lesion areas. A visual attention-guided region inference approach is proposed to localize the local lesion area.The attention-guided method crops the discriminative regions to classify the chest X-ray image and thus corrects the image alignment and reduces the impact of noise.
   胸部X射线图像分类需要探索不同的病变区域。提出了一种视觉注意引导的区域推理方法来定位局部病变区域。注意引导方法裁剪鉴别区域对胸部X射线图像进行分类，从而校正图像对齐并减少噪声的影响。
2. An attention-guided convolutional neural network is proposed to diagnose thorax diseases. AG-CNN simulates the human expert in terms of attention. The latter not only focuses on the global appearance but also looks for the specific lesion areas, before combining the two perspectives to reach a final decision. AG-CNN employs and fuses global and local information tomimicthe human diagnosing procedure and reporting competitive accuracy.
   提出了一种用于胸部疾病诊断的注意引导卷积神经网络。AG-CNN模拟人类专家的注意力。后者不仅关注全局外观，还关注具体的区域，然后再结合两个视角做出最终决定。AG-CNN利用并融合全局和局部信息，以模拟人类诊断程序并报告具有竞争力的准确性。

The Proposed Approach

网络结构

global branch

backbone model: ResNet-50
activation function：sigmoid
loss function: binary cross-entropy(BCE) loss
由全局图像作为输入，使用ResNet作为主干网络，包括5个下采样模块，然后是一个全局最大池化层和一个用于分类的14维全连接层，最后，添加一个sigmoid层到全连接层输出向量，通过二元交叉熵损失函数优化全局分支的参数。

local branch

the same convolutional network structure with the global branch,but two branches do not share weights

Fusion branch

融合分支首先连接全局分支和本地分支的Pool5输出结果，连接层连接到15维全连接层进行分类。

Training Strategy of AG-CNN

训练分为三步：
1、使用全局图像训练全局分支
2、使用由阈值r通过mask推理获得的局部图像训练局部分支。
3、融合分支连接全局分支和局部分支的最后一个Pool层，进行分类。

Experiment

以14种肺部疾病AUC和平均AUC为依据，与其他四篇论文方法和主干网络分别为ResNet-50、DenseNet-121做对比。

在不同的阈值r，对比T(IoU)的定位准确性

Conclusion

本文提出了一种注意力引导的双分支卷积神经网络用于胸部疾病分类，该网络通过分别考虑全局和局部分支中的全局和局部线索进行训练。与以往单纯依赖全局信息的工作不同，它使用注意力热图来指导训练局部分支的重要区域。广泛的实验表明，组合全局和局部线索可以在chestX-ray14数据集上产生最先进的准确度。我们还证明了我们的方法对参数变化相对不敏感。
在未来的研究中，我们将从两个方向继续研究。首先，我们将对病变区域进行更准确的定位。其次，针对撞击样本采集和标注困难的问题，探索半监督学习方法。

Results

AUC=0.871

Comments

提出了一种注意力引导的双分支卷积神经网络，模拟影像科医学对医学图像的处理方法，先整体后局部，综合判断疾病种类，实验数据十分详细，值得借鉴。

why

用于实验设计

Summary

融合注意力的医学图像分类

Cite

Guan Q, Huang Y, Zhong Z, et al. Thorax disease classification with attention guided convolutional neural network[J]. Pattern Recognition Letters, 2020, 131: 38-45.