TieNet论文个人理解

论文全名：

TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reporting in Chest X-rays

 

论文地址：

https://arxiv.org/pdf/1801.04334v1.pdf

 

Abstract

胸部X光图像读取相对困难的两个原因：

（1）大型数据集的短缺

（2）缺少模拟放射科专家的技术

作者认为临床的放射性报告可以作为一种先验知识来解决这两个问题。所以作者提出了TieNet,它通过输入文本报告和图像来对图片进行分类，而且可以只输入图像生成文本报告。

 

Introduction

第一段：深度学习在图像方面已经取得了很多成果。

第二段：医学图像领域的数据集很少，但是未经处理过的报告很多。所以关键就是如何让这些报告变为机器可以学习的知识。

第三、四、五、六段：作者提出了TieNet，可以适用于不同场景，并作出了验证。

 

Related work

CADe 和CADx

chest X-ray dataset(报告中含有比标签更多的信息)

其他（略）

 

Text-Image Embedding Network

sample report

下面是网络架构

主干架构是经典的预训练网络（比如ResNet50）,然后通过transition layer转化为标准形式。首先使用transition layer的激活值放入函数来初始化lstm的隐藏层状态,对于每一个lstm，隐藏层的更新由以下公式决定

 

其中w是新生成的词。

AETE

 

 ，M的维度是r*dh

最后对矩阵M的每一个r维向量做一个最大池化，得到dh维的向量

SW-GAP 

复用了G来作为每个a的权重

对于每个通道的x进行加权求和。 

 

联合学习

同样，输出的形式是one-hot向量

分类的损失函数用的是加权的交叉熵

 

因为这个网络同样可以生成报告，所以总的损失函数由分类的loss和生成模型的loss两部分组成

 

 DataSet

ChestX-ray14

Hand-labeled

OpenI

 

Experiments

略