A Self-boosting Framework for Automated Radiographic Report Generation

模型概述

这篇Paper提出一种自增强框架来改进放射学报告的生成。该框架包含两个分支：主任务——报告生成，辅助任务——图文匹配。这两个任务以相互合作的方式互相影响。一方面，图像文本匹配分支有助于为报告生成分支学习与文本高度相关的视觉特征，从而输出高质量的报表。另一方面，由报告生成分支生成的改进报告为图像-文本匹配分支提供了额外的更难的样本，并迫使后者通过学习更好的视觉和文本特征表示来改进自身。这反过来又有助于再次改进报表生成分支。

模型整体架构

报告生成分支（RG-branch）遵循编码器解码器架构。该视觉编码器采用无监督方法检测图像区域，使用CNN提取区域特征，并基于自我注意学习的区域关系对这些视觉特征进行细化。文本解码器将经过改进的视觉特征作为输入，将它们传递到一个层次LSTM模型，该模型同时满足主题级和字级解码，并生成最终的段落报告。
在辅助任务方面（ITM-branch），以图像-报告对为输入，我们的图像-文本匹配分支(ITM-branch)由图像编码器和报告编码器组成，分别学习视觉特征和文本特征，以预测输入的图像和报告是否匹配。
两个分支以三种方式互相作用：

1. 共享视觉编码器
2. ITM分支的报告编码器被RG分支用来评估生成的报告和ground truth之间的loss
3. RG分支生成的改进报告作为额外的硬样本传递给ITM分支，迫使ITM分支增强特征学习来改进自身

模型详解

1. RG-branch
   对于$3\times H\times W$的输入图像，采用选择性搜索算法无监督地生成区域建议，然后通过以下步骤对区域进行细化：
   1）剔除小于2000像素的区域
   2）不包括背景比例超过70%的区域
   一幅图像选择30个区域，其实就是把image-level降低到region-level，看的更近，更适合细粒度模式描述。利用自注意力机制来学习区域之间的关系，并将区域视觉特征$V$转化为关系增强的$Vh$进行细化。这些关系增强的区域特征$vh$通过区域池化层生成池化向量$vp$，再把$vp$放入2048维度的全连接层来产生最后的视觉表示.
   生成的视觉表示送到RG-branch的文本解码器生成报告，再送到ITM-brach预测图文匹配.
   Text decoder使用了一个分层结构的LSTM，它包括一个句子LSTM和一个单词LSTM.句子LSTM将视觉特征作为输入，为报告段落中的每个句子生成一个主题向量，并决定何时停止生成主题向量。然后将这些主题向量输入单词LSTM以生成句子。
2. ITM-branch
   ITM-branch与RG-branch分支机构共享图像编码器，共同关注区域。图像编码器从区域中提取视觉特征，利用区域关系对这些特征进行细化，并在附加的区域池上输出图像表示。
   ITM-branch使用Sentence-BERT作为报告编码器,在Sentence-BERT后连接一个全连接层，生成与图像编码器相同尺寸的文本特征嵌入