Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记

本篇论文主要介绍了尺度感知的语义图像分割(scale-aware Semantic Image Segmentation)


1.首先,多尺度的特征是提升语义图像分割性能的一个关键因素。
2.提取多尺度的特征主要有两种网络结构:
  第一种是:skip-net,第二种是:share-net
  Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记_第1张图片
(1)skip-net的特点是取网络中多个中间层的特征并合并成一个特征,以实现多尺度的特征;
(2)share-net的特点是对输入图像进行尺度上的变换,得到不同尺度的输入图像,然后分别输入给网络,这样能够得到不同尺度的输入图像的特征,以形成多尺度的特征。
3.论文采用的是share-net的方式来得到多尺度的特征,在采用share-net方式提取多尺度特征时,需要考虑到一个问题,就是如何对多个尺度输入图像得到的特征进行融合?
(1)多尺度输入图像的特征的融合目前主要有两种方式,一种是max pooling;一种是average pooling(取平均);

(2)本篇论文提出对多尺度输入图像特征进行加权求和进行融合:

Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记_第2张图片

   是不同的尺度

  用图来表示:

Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记_第3张图片

  
4.多尺度输入图像的特征采用加权进行融合,如何得到各个尺度的权值?论文提出了利用注意力模型(Attention model)来训练得到各个尺度的权重。
Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记_第4张图片

5.Attention Model的网络结构:
  Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记_第5张图片
6.Attention Model的实现
  Attention Model是一个两层的卷积结构,第一层有卷积层有512个3*3的卷积核,第二个卷积层有S个1*1的卷积核(S是尺度数,也就是不同尺寸输入图片数)。 
   
7.对Attention Model如何进行训练这块没有理解。

你可能感兴趣的:(深度学习(Deep,Learning))