【CVPR2020】Fast Soft Color Segmentation

非常偶然的在胖圈看到有人推荐这篇CVPR2020的论文，Fast Soft Color Segmentation，感觉名字很有趣，本想在百度里面就可以百度到，结果…不过天无绝人之路，我竟然非常偶然的在b站看到了一个up主（一键三连嘛～Richard日常读paper）有分享过这篇论文的阅读并且成功蹭到了pdf，感动的留下了泪水，所以借花献佛也来和大家分享一下这篇论文。

但是！！！近期CVPR2020的论文已经可以全部获取了，放上链接：
CVPR2020 Paper链接：http://openaccess.thecvf.com/CVPR2020.py
给大家推荐：近几年顶会Paper链接：http://openaccess.thecvf.com/menu.py

---

Soft Color Segmentation 什么是软颜色分割

Soft Color Segmentation，由Yu-Wing Tai在2007年提出的，指的是将输入图像分解称均匀颜色的图层，对于图像编辑和图像重新着色非常关键。 文中提出了大多数的色彩可以用六种soft color来混合形成，并且和原图色差极小，六种soft color如下图所示。

在这篇论文中提到soft color segmentation的应用是很广泛的，例如用于卫星的飓风图像和星云图像的分割，如下图。个人认为，soft color segmentation在卫星图像上的应用算是一个很好的切合点，因为卫星云层是由厚度的，下图中的(h)图实际上就是涵盖了云层的厚度信息，弥补了hard segmentation的不足。此外，目前的卫星遥感通道可以获取除了可见光三个通道外的信息（例如葵花八气象卫星有16个通道的数据，包含红外通道等等），也就是说不只是可见的图像信息。

但是，在2018年提出的Semantic soft segmentation（SSS，发表于Siggraph，我们也会另开博客介绍这一篇的工作）中，显示定义了语义软分割，语义软分割主要指的是某一个像素在分类是可能属于A类也可能属于B类，但是在标注的过程中没有办法精细标注，这就造成了一定的误差和影响，例如抠图中的头发丝的分割标签标注问题。Soft color segmentation是soft segmentation的一种，在论文中进一步解释了语义软分割和色彩软分割的不同如下图。从下图中可以看出，语义软分割是基于某一类的，例如人、背景、物体等等，而色彩软分割是突破了物体边缘的限制，从色彩角度来考虑像素的相关性，这比语义软分割在某些特定场景下更加适用。

和Soft Color Segmentation相关的论文:

• Soft Color Segmentation and Its Applications 软色彩分割及其应用 【PDF获取】
• Semantic Soft Segmentation 语义软分割 【PDF获取】

---

Fast Soft Color Segmentation 快速软色彩分割

【摘要】 在这篇论文里，解决了软色彩分割问题（Soft Color Segmentation），软色彩分割定义为将给定的图像分解为几个RGBA图层（Red+Green+Blue+Alpha），每个图层仅包含均匀的色彩区域。分解产生的图层为受益于基于图层的编辑（例如图像和视频的记录和合成）的应用铺平了道路。由于其迭代性质，当前处理此问题的最新方法因处理时间缓慢而受阻，因此无法扩展到某些实际情况。为了解决此问题，我们针对此任务提出了一种基于神经网络的方法，该方法将给定图像在单个前向过程中分解为多层。此外，我们的方法分别分解颜色层和alpha通道层。 通过利用一种新颖的训练目标，我们的方法可以在各层之间正确分配颜色。结果，我们的方法达到了有希望的质量，而没有迭代方法的推理速度问题。我们全面的实验分析表明，我们的方法在定性和定量结果上可与以前的方法相提并论，同时实现了30万倍的速度提高。最后，我们在多种应用程序中使用了我们提出的方法，并展示了其速度优势，尤其是在视频编辑中。
话不多说，先上图来感受一下⬇️～ 输入是一张RGB图像和一个特定的颜色调色板（Color palette），分解这些颜色形成对应的多层的RGBA层。这种图层的分解在重新着色和图像合成方面有很多的应用场景。

01 Introduction

文中提到的有些related work在前面已经提过了，我们在这里就不赘述了。在这篇论文中，将alpha predictor和residue predictor在自监督下联合训练，这样就不需要额外的人工标签或者标注。主要有三个贡献：

• 提出了第一个基于神经网络的方法和柔和的颜色分割的新的训练目标。
• 进行了定性和定量实验，以证明我们的方法在保持可比的视觉质量的同时，大大超过了最先进的方法。
• 将这种方法以前所未有的效率应用于多种实际应用中，尤其是视频编辑。

02 Method

在这篇论文中，提出的方法主要涵盖了三个阶段：

• Palette Selection，调色板选择阶段。自动或者手动选择调色板，表示目标颜色的均值。
• Alpha layer estimation，Alpha层估计阶段。alpha predictor预测与调色板相关的alpha层。Alpha predictor是基于一个U-Net的结构，输入是输入图像+调色板颜色，输出的对应每个调色板颜色的Alpha layers，为了可以满足alpha相加的条件，对其做了归一化，或者是通过一个后处理模块，例如平滑滤波或者mask操作。
• Color layer estimation，色彩层估计阶段。residue predictor估计颜色残差，这些颜色残差指示出颜色从调色板颜色的位移。Residue predictor同样是基于一个U-Net的结构，输入是输入图像+调色板颜色+上一个模块输出的processed alpha layers，主要是用于估计每一层的GT和调色板颜色之间的不同，以便于将输入图像存储成分解层。
• Trained jointly。两个U-net结构是联合训练的。

03 Experience

整体的实验结果如上图所示，和Aksoy提出的算法和Koyama提出的算法做对比，从**定性分析（Qualitative Evaluation）上，这篇论文所提出的方法与目前的算法想过相当，并且这篇论文基于的是某几种调色板的颜色，并不是Aksoy所需要的颜色分布，而在Koyama中颜色是有序的混合，这篇论文可以实现与色彩顺序无关的混合。从定量分析（Quatitative Evaluation）**上，在速度和重构损失上，论文所提出的算法都足够优秀。此外，这篇论文还做了大量的消融实验，有兴趣的伙伴可以自行的食用原文。

文中也提到了Fast Soft Color Segmentation的许多应用，例如：

• 边界模糊的图像分解：对于带有运动模糊的前景对象的图像，尽管前景和背景在单个像素处都是可见的，但硬分割必须将该像素分配给任一类别。在这种情况下，软分割可以将像素识别为前/背景的混合，因此比传统的硬分割更具优势。
• 自然图像的编辑：应用在自然图像的重新着色和合成上。
• 视频分解：可以逐帧分解视频，对时间一致性没有任何限制，分解的层不会出现跳帧的情况。
• Alpha层处理：在alpha层处理阶段，由于alpha层的估计与颜色层无关，因此用户可以编辑预测的alpha层，然后将这些编辑的alpha层用于颜色估计，可以使用引导滤镜来平滑图像，或者对遮罩进行矫正以更改alpha区域。

当然，在Fast Soft Color Segmentation也存在一定的不足和限制，例如：

• 内存限制：因为我们使用GPU进行推理，所以我们无法处理超出GPU内存限制的高分辨率图像。 同样，需要足够的GPU内存来保存具有跳过连接的编码器-解码器网络的中间特征。
• 固定的调色板大小：在我们的方法中，每个训练模型的分解层数是固定的。 为了处理各种数量的图层，一种解决方案是训练一个模型，该模型将图像分解为足够数量的图层，并使用具有重复颜色的调色板，在分解后合并重复颜色的图层 。

---

也是因为Fast Soft Color Segmentation在CVPR2020中算是小众研究，所以解读可能不够深入，随时请大佬们批评指正，感恩一路同行❤️❤️❤️！