CascadePSP:级联PSP：通过全局和局部精炼实现对类无关和非常高分辨率的分割

Abstract：
最先进的语义分割方法大多是在固定的分辨率范围内。这些分割对于超高分辨率分割不是特别准确的，因为低分辨率的多次上采样不能capture高分辨率物体边缘的详细信息。****本文，提出了一个新的方法不使用高分辨率的训练数据来处理高分辨率的分割问题。CascadePSP网络关键是尽可能的细化和correct local boundaries。尽管我们的网络使用低分辨率的数据训练，但我们的方法能用于任何超高的分辨率图像甚至超过4K。****我们的方法可以视为class-agnostic。在多个数据集进行实验。

Introduction
高分辨率的视觉任务有着很多挑战。对低分辨率的图像建立语义分割model通常无法应用到高分辨率图像。同时由于GPU资源的问题，训练4K的图像几乎不可能。因为精准标注的需要，高分辨率的训练数据很难获得。对于高分辨率图像的训练需要更大的感受野来捕获语义信息。常用方法是下采样和crop，但前者会失去details，后者会损坏image context。
提出的CascadePSP，分割细化模型能refine 任何分割从low到high分辨率。我们的模型能添加到任何方法中提升更精细更准确的分割结果。我们的模型输入一个initial mask，它可以是任何算法的输出以提供一个粗略的物体位置。然后CascadePSP输出一个refined mask。我们的模型设计为一个级联的结构，从coarse到fine生成精细的分割结果。图1表示不仅能生成高分辨率的结果也能细化边缘。
编解码结构这段描述书还不错。

3.CascadePSP
首先描述单一的细化模型，然后是级联模型
3.1Refinement Module

refinement module采用1张图像和多个不同scales的不完美的分割mask。Multi-scale输入使模型捕获不同等级的结构和边缘信息。
所有低分辨率的分割输入都采用双线性上采样到相同size然后和RGB图像concat。我们从输入中提取步长为8的特征图使用PSPnet，主干网络ReSNEt-50.使用【1,2,3,6】的金字塔池化尺寸捕获global context。除了最终输出为1的输出，也产生了步长为8,4的分割。我们跳过了步长2来提供纠正loacal错误边界的灵活性。
为了恢复提取过程中造成的像素损失，采用skip-cannection。我们将跳跃连接特征和双线性上采样concat，然后用两个RESNet block处理他们。分割的output是2个1x1conv生成的，接着是sigmoid激活函数。
LOSS
stride 8 采用交叉熵loss，stride 1 采用L1+L2 loss ，stride 4 采用交叉熵和L1+L2的平均值。不同的步长采用不同的loss，因为粗略分割主要是全局的结构忽略local details，而细化分割主要是依赖于local cue的像素级的准确。为了更好的细化边缘，在步长1输出上也采用了分割梯度幅度的L1损失。 分割梯度由3×3平均滤波器和Sobel算子估计， 由于梯度与像素级损失相比更稀疏，我们用α来衡量它，这在我们的实验中被设置为5。
最终的loss为：

3.2. Global and Local Cascade Refinement
in testing，我们使用了Global Step 和 Local Step来处理高分辨率的分割细化通过使用相同训练的refinement module。Global step考虑的是resize image和repair structure，Local step是细化细节。
3.2.1 Global Step

Global step采用3级级联refine the whole image。由于全分辨率图像GPU无法处理， 我们对输入进行下采样，使长轴具有长度L，同时保持相同的纵横比。
在第一级级联后，输入通道的一个被双线性上采样的coarse output代替。一直重复到最后。
这种设计使我们的网络能够逐步修复分割错误，同时保持初始分割中的细节。通过多个levels，我们可以粗略地描述对象，并在粗层次中修复较大的误差，并使用粗层次提供的更健壮的特征来关注精细层次中的边界精度 。
3.2.2 Local Step

超高分辨率图像在GPU处理很困难，而且在训练和测试数据的巨大改变也会引起分割质量下降。我们利用级联模型首先使用下采样图片执行global refinement，然后使用image crops来自于higher 分辨率image执行local refinement。这些crops能使Local step不用高分辨率训练数据就能处理高分辨率图像 ，因为Global step已经考虑到image context。
Local step中采用Global step的两个输出经过双线性恢复到原始图像尺寸WxH。模型采用LxL的image crops，crop output的每一边由16个像素被切避免边界伪影。 在融合中，由于图像上下文的不同，来自不同块的输出可能彼此不一致，我们通过对所有输出值进行平均来解决这一问题。

L选择了900