[2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotat

今天读了一篇检测的文章,Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotation,发在 CVPR2016,作者不是太了解,据说Li Lu 在医学图像领域比较犀利。

Summary

这是篇文章属于“老方法+新问题”,其实也不算新问题,只不过用在医学图像里很少,我对医学图像处理并不太了解,说错了请见谅。
文章要解决的问题是类似于 image caption,不过应用在 X光图像上。模型并没有改进,但在训练策略上对医学图像处理做了适应。

Approach

和普通的 自然图像的image caption 的不同点在于,医学图像没有可用于 初始化的模型,imagenet 和医学图像的差别还是很大的。
解决方案就是用医学图像训练一个 分类CNN作为初始化,但是这里的数据有些特殊,需要特别处理,具体是这样的:这里的图像是 X 光图像,每个图片都有对应的诊断报告,可以看成是多个描述,因此要首先解决图像的 label 的问题,也即 section 4所说的labele mining,具体做法是:找到17个高频label,并且每种label都含有超过30个 image,并且这17个 label下的图片 之间很少重复,因此就用这些图片构建一个分类数据库。
接着用 CNN 提出的feature 作为 RNN 的输入,接着是该图像对应的描述的输入,这个描述是用所谓的 MESH 处理过的,因此只是一些重要的词汇,并不是一个完整语义的句子。
然后将该图像在 RNN 模型中所有 t 时刻的 state vector 进行 mean pooling,得到一个平均表达,作为 image/text context,这个 context 的作用是对第一步的 CNN 模型进行细分,比如如下三个描述在第一次 CNN 是被认为是同一个 label,

“calcified granu- loma in right upper lobe”, “small calcified granuloma in left lung base”, and “multiple calcified granuloma”

现在就是想把他们区分开,就是利用 上面说到的context,对同一个 label 的 image 利用 context 再进行聚类,label 数目从17个扩大到57个,然后再训练,过程和上面一样。
流程图如下
[2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotat_第1张图片

你可能感兴趣的:([2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotat)