医学图像论文要点记录

《A graph-cut approach for pulmonary artery-vein segmentation in noncontrast CT images 》

亮点

1. 设计、实现和验证了该框架的分割效果（完整性）。
2. 该方法使用局部信息和一个新颖的图分割方法来确保派生子树的连通性以及空间和方向一致性（创新性）
3. 该方法要能够能够从众多造影图像中抽取有效信息，而这是传统工作所达不到的（有效性1）
4. 该方法的输出能够成为医疗诊断与治疗的知识来源（有效性2）

方法理解

1. 结合了局部先验知识以及包含空间和方向一致性的连接信息
2. 连通性和结构信息用于计算邻域相干性，形成边界项（n-链，紫色线）；基于从血管和支气管信息中提取的局部特征的RF预分类用于计算动脉/静脉相似性评分，形成图形的区域项（t-链，红色/蓝色链）

---

---

《Image Captioning with Semantic Attention》

image captioning为自动为一幅图像生成一个自然语言描述。
摘要：自动为一幅图像生成自然语言描述吸引了广大的兴趣，这是因为它连接了人工智能的两大领域：计算机视觉与自然语言处理。 现存的方法要么是自顶向下——即将图像转化为文字，或者自底向上——将描述图像的所有文字进行融合。 本文提出一个新的方法，使用一个叫做语义注意力的模型将这两种方法相结合。 本算法学习选择性地关注语义概念proposal，并将这些语义proposal与隐变量和循环神经网络的输出相融合。这个选择和融合形成了一个关于自顶向下和自底向上的反馈计算。

---

---

《 Automated diagnosis of breast ultrasonography images using deep neural networks 》

摘要：
乳腺肿块超声检查在乳腺癌检测与诊断中的起辅助作用。人工分析超声影像耗时耗力。在这项研究中，我们实现了一个关于超声影像自动的乳腺癌症检测模型。传统的超声影像分析方法使用人工特征来分类图像，且对乳腺病变的形状、尺寸、结构缺少鲁棒性，这直接导致了临床应用中的低准确率。为了克服这些问题，我们提出了一个使用深度卷积神经网络（包含多尺度卷积核和跳连接）的方法来识别乳腺超声影像。我们的方法由两个部分组成：首先确认图像中是否包含恶性肿瘤，其次是识别实质性结节。为了让这两个网络协同工作，我们提出了一个基于类激活映射（CAM）的区域增强机制。该机制帮助提高了这两个网络的分类精度与敏感度。我们使用一个交叉训练算法来训练网络。我们构造了一个大的标注数据集，其中包括8145张乳腺超声图像，并使用该数据集对模型进行训练和评价。所有的标注数据都来自于真实的病理记录。所提出的方法均大幅度优于所使用的两个顶尖对比算法。实验结果表明，我们的方法实现了与人类超声技师相当的性能，并可应用于临床场景。
方法
诊断是由两个神经网络以级联的方式完成的。首先，一个网络根据图像中是否包含恶性肿瘤来分类图像（这样做的原因是恶性肿瘤是所有乳腺疾病中最严重的问题），这个网络被称为Mt-Net；其次，这些图像进一步被另一个网络根据是否包含实质性结节进行分类（因为实质性结节与癌症有紧密联系应当被认真对待），这个网络被称为SN-Net。提出了一个新颖且有利的区域增强机制。
区域增强机制
使用特征可视化结果作为网络的输入。特征可视化结果指出了网络对输入图像更加关注的区域，我们始终这个作为对后续网络的附加输入。例如，Mt-Net的特征可视化结果代表负责识别恶性肿瘤的区域，因为恶性肿瘤和实质性结节非常接近，这样的信息也许会对识别实质性结节很油帮助。同样的，对Sn-Net的特征可视化结果对Mt-Net的分类结果也会有所帮助。
Mt-Net的输入包括二，其一是乳腺超声影像，其二是Sn-Net的可视化结果。如图所示

我们使用加操作来进行增强机制，将计算后的可视化结果加到对原图进行卷积运算的结果，关注的区域被增强了，剩余的区域没有变化。参数lamda用来控制增强的程度。