语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation

Attention to Scale: Scale-aware Semantic Image Segmentation
CVPR2016

http://liangchiehchen.com/projects/DeepLab.html

针对语义分割问题,嵌入多尺度信息是很有必要的,这里我们提出用一个 attention mechanism 来学习每个像素位置的 softly weight the multi-scale features

语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第1张图片
attention model 学习对于不同尺度的物体赋予不同的权重

对于提取多尺度特征,目前主要有两种网络结构:

语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第2张图片
Skip-net 和 Share-net,这里我们认为 Share-net 能够与 attention model 更好的结合,所以采用了 attention model

怎么融合多尺度特征信息了?
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第3张图片
这里我们首先得到权重,再根据权重来融合多尺度特征信息

PASCAL-Person-Part validation set
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第4张图片
E-Supv: extra supervision The ground truths are downsampled properly during training

语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第5张图片

max-pooling 和 attention model 效果对比:
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第6张图片

语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第7张图片

PASCAL VOC 2012 test set
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第8张图片

PASCAL VOC 2012 validation set
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第9张图片

MS-COCO validation set
语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation_第10张图片

你可能感兴趣的:(语义分割,语义分割)