【语义分割】context module

ASPP - Atrous Spatial Pyramid Pooling

tensorflow实现:network

【语义分割】context module_第1张图片

ASPP是deeplabv3中的核心模块。

ASPP采用三个并行的空洞卷积,空洞卷积rates = (6, 12, 18),从而提取到多尺度的特征。

另外,为了更好融合全局上下文信息,ASPP还采用了全局平均池化(池化+BN+bilinearly upsample)

PPM - PSPNet

【语义分割】context module_第2张图片

PPM是PSPNet中的一个核心模块,其借鉴空间金字塔池化,将Feature map分别分成1x1, 2x2 , 3x3 , 6x6的子图,然后每个子图再做平均池化;

为了保持全局特征的权重,池化后的结果再使用1x1的卷积将channel数减小为原来的1/N(N=1,2,3,6)。

最后使用双线性插值上采样到和Feature map同样大小.

PPM是一个有效的global context prior,,其融合了四个不同尺度的特征,通过different-region-based context aggregation提取global context information 。仅使用全局平均池化,可能丢失某些空间信息;PPM能够收集不同尺度的信息,更能区分多种类别。

FC attention–DFA

【语义分割】context module_第3张图片

FC attention是DFA中的一个重要模块。增加FC attention可以使模型在参数和计算量不变的条件下,miou提升4-6%

为了更好地提取语义信息和类别信息,FC attention中的全连接层在ImageNet上预训练得到。

GCN + BR

【语义分割】context module_第4张图片

Global Convolutional Network又名:larger kernel,通过使用大的kernel来得到比较大的感受野。

为降低计算量,GCN将kxk卷积分解为1Xk+kx1和kX1+1xk。

【语义分割】context module_第5张图片

DFN

【语义分割】context module_第6张图片

csSE

【语义分割】context module_第7张图片

你可能感兴趣的:(语义分割)