Colorization论文阅读——Let there be Color!

论文

Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification

  • 发表于SIGGRAPH 2016

方法

首先,图片的颜色空间为LAB颜色空间,其中L代表亮度,AB分别代表洋红(Cyan)到绿色(Green)的过渡和黄色(Yellow)到蓝色(Blue)的过渡。在灰度图中,L完全保留,而AB完全丢失,因此需要通过L预测出AB,再叠加到原来的L上,就能够得到彩色图片。

如下图,这篇论文采用了全局和局部的两种维度提取特征。局部特征基本上是一个U-Net,全局特征一方面要得到整张图片的分类,另一方面要把全局的特征和局部特征做融合(Fusion)。

Colorization论文阅读——Let there be Color!_第1张图片

其中具体每一层的参数如下图所示。

Colorization论文阅读——Let there be Color!_第2张图片

里面最核心最具创新性的应该就是全局特征和局部特征的Fusion。Fusion的过程非常简单粗暴,就是把全局特征的向量一个一个排起来,concatenate到局部特征的每个像素上。即

另外,和其他Colorization方法不完全相同的是,它使用了图片的分类。因此,它的Loss Function由颜色和分类两部分组成,即

Colorization论文阅读——Let there be Color!_第3张图片

第一项描述了颜色上的误差, y c o l o r , ∗ y^{color,*} ycolor,为ground truth, ∣ ⋅ ∣ F R O |\cdot|_{FRO} FRO表示F范数,综合起来就是各个像素上的均方误差(MSE)。第二项描述了分类上的误差,就是分类的交叉熵误差(Cross Entropy Error)。

疑问

Github上可以找到相关代码colorNet-pytorch,训练后发现有些结果比较好,比如天空是蓝的,草地是绿的。但对于一些可能有歧义性的物体,比如飞机的颜色可能是各种颜色的,那么感觉这种方法只能做一个各种可能颜色的平均,因此看起来是灰色的,和原来的灰度图差距不大。

你可能感兴趣的:(Colorization,Colorization,深度学习,CV)