多平面图像的输入项必须是大小为 mxnx3 的 rgb 图像。_一种高效的处理超高分辨图像分割的方法：CascadePSP CVPR2020...

论文下载：

CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement​hkchengad.student.ust.hk

代码下载：

hkchengrex/CascadePSP​github.com

简介：

最先进的语义分割方法都是在固定分辨率范围内专门训练的图像。这些分割对于非常高分辨率的图像是不准确的，因为使用双三次上采样的低分辨率分割不能充分捕捉目标边界的高分辨率细节。本文提出了一种新的方法来解决高分辨率分割问题，而不使用任何高分辨率训练数据。CascadePSP网络，它可以在任何可能的情况下改进和修正局部边界。虽然网络是用低分辨率的分割数据训练的，但方法适用于任何分辨率，甚至是大于4K的高分辨率图像。CascadePSP可以细化像素级精确的分割边界。

本文主要贡献:

• 提出了CascadePSP，这是一种通用的级联分割细化模型，它可以细化任何给定的输入分割，在不进行微调的情况下提高现有分割模型的性能。
• 该方法可以用于产生高质量和非常高分辨率的分割，这是以前基于深度学习的方法从未实现的。
• 提出了一个大数据集，可以作为一个非常高分辨率语义图像分割任务的准确评估数据集。

方法：

细化模块采用一幅图像和多个不同尺度的不完美分割掩模来生成细化的分割。多尺度输入使模型能够捕获不同层次的结构和边界信息，从而使网络能够自适应地融合不同的掩模特征，所有低分辨率的输入分段都被双线性向上采样到相同的大小，并与RGB图像连接。如下图所示：

采用ResNet-50作为框架，提取1/8的特征， 接着pyramid pooling sizes of [1,2,3,6] 来捕捉全局上下文。

Global Step

考虑到GPU的内存，将图片进行下采样L，来缓解内存的压力

级联的输入由输入复制以保持输入通道维数不变。在级联的第一级之后，其中一个输入通道将被bilinearly上采样粗输出所取代。这个过程一直重复到最后一层，其中输入包括初始的分段和前一层的所有输出。这种设计使网络逐步修正分割错误，同时保持细节呈现在初始分割。通过多层次，我们可以在粗层次上粗略地勾画出目标并修正较大的误差，在细层次上利用粗层次提供的特征来提升边界精度。

Local Step：

利用级联模型首先使用下采样图像进行全局细化，然后使用高分辨率图像中的图像剪裁进行局部细化。这些剪裁使局部步长能够处理没有高分辨率训练数据的高分辨率图像，同时由于全局步长而将图像上下文考虑在内。

在局部步骤中，模型取全局步骤最后一层的两个输出，记为s14和s11。两个输出都被上采样调整到图像的原始大小。

实验结果：

总结

我们提出了CascadePSP，这是一个通用的分割细化框架，用于细化任何输入分割，并在没有任何细化之后获得更高的精度。CascadePSP执行高分辨率(高达4K)分段细化，甚至我们的模型从未见过任何高分辨率训练图像。在没有任何微调的情况下，在低分辨率数据上训练单一的细化模型，提出的全局步骤细化整个图像，并为后续的局部步骤提供足够的图像上下文，以执行全分辨率高质量的细化。我们希望这项工作可以在未来为更高分辨率的计算机视觉任务做出贡献。