PolyFormer：将图像分割称为顺序多边形生成

PolyFormer: Referring Image Segmentation as Sequential Polygon Generation\

摘要

1. 在这项工作中，参考图像分割的问题被公式化为顺序多边形生成，而不是直接预测像素级分割掩码，并且预测的多边形可以稍后转换为分割掩码。
2. 这是由一个新的序列到序列框架Polygon Transformer（PolyFormer）实现的，该框架以一系列图像patch和文本查询token作为输入，并自回归地输出一系列多边形顶点。
3. 为了更精确的几何定位，提出了一种基于回归的解码器，它可以直接预测精确的浮点坐标，而没有任何坐标量化误差。
4. 代码地址
   

本文方法

PolyFormer不是预测密集的分割mask，而是按顺序生成边界框的角点和勾勒对象轮廓的多边形的顶点。具体来说，我们首先使用视觉编码器和文本编码器分别提取图像和文本特征，然后将其投影到共享的嵌入空间中。接下来，我们将图像和文本特征连接起来，并将它们输入到多模式转换器编码器中。
最后，基于回归的变换器解码器获取编码的特征，并以自回归的方式输出连续浮点边界框角点和多边形顶点
分割mask生成为多边形所包含的区域

图3。多边形序列表示的图示。多边形中的顶点按顺时针顺序排序，其中起点（橙色点）是最靠近图像原点的顶点。分割遮罩生成为多边形所包含的区域。

Multi-modal Transformer Encoder

输入：图像为swin transformer
文本为bert
融合：

线性映射到相同形状，然后concat
多模编码器由N个transformer层组成，其中每一层由一个多头自注意层、一个层归一化和一个前馈网络组成。它采用级联特征FM并逐步生成多模态特征FNM。

Regression-based Transformer Decoder

基于回归的transformer解码器的架构（a）。2D坐标嵌入是通过双线性插值从附近的网格点获得的，如（b）所示。

实验结果