Colorful Image Colorization 阅读笔记

摘要

      给一个灰度图作为输入，本文会给图片产生一个似而非似的彩图颜色。这个问题约束不充分，所以以往的方法依赖于大量用户的交互或者尝试不饱和的颜色。我们提出了一个完全自动的方法产生丰富和真实的颜色。我们将它归于一个分类任务并且在训练时加入类别再均衡，增加了颜色的丰富性。整个系统在测试时实现为了一个前馈网络，用了100万的彩图去训练。我们使用“着色图灵测试”评估我们的算法，要求参与者在生成的和真实的彩图之间进行选择。我们的方法在试验时成功了愚弄了32%，比以往的方法都高了很多。此外，我们表明，颜色可以是一种强大的自我监督的特征学习的pretext task，作为cross-channel encoder。这种做法在特征学习上取得了state-of-the-art的结果。

---

1、介绍

       以前的方式主要是用着色后的图像与ground truth对比，本文不是。

本文创新点：

我们为着色任务设计了一个新的损失函数。颜色预测是多模态的，很多物体都有着多种颜色。

我们在训练时为稀有颜色re-weight

我们通过采用annealed-mean的分配方式来生产最终的着色

本文贡献：

1.

a.构造适当的目标函数，解决多模态着色问题

b.新颖的测试方法

c.100万的数据集

2.

自监督模型