GAN属于计算机视觉领域嘛_【图像上色小综述】生成对抗网络的GAN法

本文首发于公众号【机器学习与生成对抗网络】，欢迎关注、回复 GAN 获取分类好的论文集，后台会邀您加入CV&GAN交流群一起讨论）

戳我，查看GAN的系列专辑~！

0，图像上色及其分类

• 图像上色一般分为两种：无引导上色和有引导上色。
• 顾名思义，无引导指的是全交由算法进行自动化上色，而有引导则在上色过程中有人为（其它参照）干预，比如给出一幅风格参考图像或指定某一区域为特定颜色。
• 图像上色的主要难点比如：1）数据集获取；2)上色的语义辨识性，前背景、各目标实例独立色彩效果；3）合理统一的评估方法等
• 结合GAN的上色方案一般具有一些优点是：1）GAN生成模型擅长图像转换任务，而图像上色也属于图像转换；2）训练效果引入判别器判定，对抗损失可视作一种”学习出来“的loss，减免人工精心设计loss难度；3）擅长生成多样性的上色方案等

1，2017: Unsupervised Diverse Colorization via Generative Adversarial Networks

• 灰度图像上色是计算机视觉中的热门话题。以前的研究主要集中在如何以有监督的学习方式产生彩色图像。
• 但由于许多颜色共享相同的灰度值，因此输入的灰度图像可以在保持其真实性的同时进行多种着色。
• 本文为无监督的多种着色设计了一种新颖的解决方案。 具体来说，利用条件生成对抗网络对现实世界中物体颜色的分布进行建模，其中一种具有多层噪声的全卷积生成器被提出以增强多样性。
• 该模型在开放的LSUN卧室数据集中产生了极具竞争力的性能，对80个人进行的图灵测试进一步表明方案的有效性。

2，2017-ACPR: Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

• 根据内容图像和目标风格图像，神经风格迁移可以自动合成指定的、目标风格的内容图像。 但将绘画的风格应用于动漫草图任务时，只会将草图线随机着色为输出。
• 本文将残差U-net集成到带有辅助分类器的生成对抗网络（AC-GAN）中，以完成动漫草图上色任务。

• 该方法属于有引导的图像上色方法。

• 上图网络结构中，使用了预训练的VGG网络提取”全局风格提示“来辅助训练。对于照片着色、阴影、材质和纹理是输入中的变量，网络可依据提示信息分析颜色分布。 作者在实验中发现加入两个中间层的”引导解码器“后，可以为网络提供更稳定的梯度。

3，2018-ACMTOGTSC: Two-stage Sketch Colorization

• 素描或线稿艺术上色是一个具有巨大市场需求的研究领域。与强烈依赖纹理信息的普通照片上色不同，草图上色更具挑战性，因为草图可能没有纹理。
• 本文提出一个基于半自动学习的框架，以用适当的颜色、纹理和渐变为草图着色。
• 方法包括两个阶段。在第一个绘图阶段，模型预测颜色区域，并在草图上飞溅多种颜色以获得颜色草图；在第二个细化阶段，检测出不协调的颜色和伪像，并修复和细化成最终结果。

4，2017-CVPR: Scribbler: Controlling Deep Image Synthesis with Sketch and Color

• 最近的一些工作已经使用深度卷积网络来生成逼真的图像。这些方法避开了传统的计算机图形渲染流程，而是通过从大量照片（例如人脸或卧室）中学习来生成像素级别的图像。但是，由于用户难以控制网络产生的内容，作者这些方法的用途有限。
• 本文提出了一种以草图和稀疏的笔画为条件，生成逼真的汽车、卧室或面孔。

• 文章属于较早2017的CVPR，网络结构类似于pix2pix，损失也是在如今看来非常常见的对抗损失、L2损失、特征感知损失等。

5，2018-ACM Multimedia: User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks

• 基于涂鸦颜色的线稿上色是一个具有挑战性的计算机视觉问题，因为线稿中既无灰度值也无语义信息，并且缺乏真实的训练数据图像对image pair也增加了难度。
• 之前几种基于对抗网络的方法已经取得了巨大的成功，但这些方法无法捕获真实的插图分布，在某种意义上说它们缺乏精确的阴影，并不令人满意。
• 本文提出一种深度条件对抗架构：将条件框架与WGAN-GP以及感知损失进行了集成，以稳健地训练网络，使合成图像更加自然和真实。此外还引进了独立于合成数据的局部特征网络。
• 收集了两个数据集，高质量的彩色插图和真实的线条艺术。

6，2018-ECCV: Coloring with Words: Guiding Image Colorization Through Text-based Palette Generation

• 本文提出了一种新的基于文本引导的上色方法，通过生成符合输入文本语义的多个调色板，然后根据生成的调色板对给定的灰度图像进行上色。
• 与现有方法相比，模型可理解富文本（单个单词、短语和句子），并可从中生成多个可能的调色板。为此引进了一个“调色板和文本（PAT）”的数据集。
• 提出的模型Text2Colors由两个条件生成对抗网络组成：文本到调色板的生成网络和基于调色板的上色网络。前者捕获文本输入的语义并产生相关的调色板；后者使用生成的调色板为灰度图像上色。

7，2019-CVPR: Coloring With Limited Data: Few-Shot Colorization via Memory-Augmented Networks

• 尽管之前基于深度学习的自动上色方面取得了非常好的进步，但在少样本的情况下，仍然受到限制：现有模型需要大量的训练数据。
• 本文提出了一种新颖的存储memory增强型上色模型：MemoPainter（通过查询的方式，获取在memory网络里中训练集里给定的颜色信息以引导上色），该模型可在有限的数据下产生高质量的着色。作者认为所提出模型能够捕获稀有实例并更好地为它们上色。
• 还提出了一种新颖的阈值三元损失（threshold triplet loss），可在无类标签下完成对存储网络进行无监督的训练。

8，2020-CVPR: Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence

• 与大多数有引导图像上色方法一样，本文在给定已着色的参考图像下，解决了草图自动上色问题。在漫画动画中，对素描图像上色的需求很大，但素描（纹理等）信息匮乏。为此，参考图像通过以一种可靠的、用户驱动的方式辅助上色过程。
• 但训练数据集获取是个问题，且数据集如何保证具有足够多的语义上有意义的图像对（image pair）?
• 为了应对这一挑战，提出使用具有几何失真的相同图像作为虚拟参考图像去引导上色，这可以确保彩色输出图像具有更具有真实性的ground true。

猜您喜欢：

GAN&CV交流群，无论小白还是大佬，诚挚邀您加入

1.GAN公式简明原理之铁甲小宝篇

1. GAN整整6年了！是时候要来捋捋了！
2. 数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！
3. 新手指南综述 | GAN模型太多，不知道选哪儿个？
4. 人脸图像GAN，今如何？（附多篇论文下载）
5. 人脸生成新SOTA？
6. 语义金字塔式-图像生成：一种使用分类模型特征的方法
7. 拆解组新的GAN：解耦表征MixNMatch
8. CVPR 2020 | StarGAN第2版：多域多样性图像生成
9. CVPR 2020 | GAN中的反射/反光、阴影
10. CVPR 2020 | 几篇GAN语义生成论文
11. CVPR 2020 | 10篇改进GAN的论文（网络、训练、正则等）
12. CVPR 2020 | 11篇GAN图像转换img2img 的论文
13. CVPR2020之MSG-GAN：简单有效的SOTA?
14. CVPR2020之姿势变换GAN
15. CVPR2020之多码先验GAN：预训练好的模型怎么使用？
16. 两幅图像！这样能训练好 GAN 做图像转换吗？
17. ECCV 2020 的对抗相关论文（对抗生成、对抗攻击）
18. 2020年7月90篇GAN/对抗论文汇总
19. 2020年6月100篇GAN/对抗论文汇总
20. 2020年5月60篇GAN论文汇总
21. 最新下载！2020年4月份70多篇GAN论文！
22. 最新下载！一览2020年3月至今90多篇GAN论文！
23. 最新下载！一览2020年2月50多篇GAN论文！
24. 一览！2020年1月份的GANs论文！
25. 2019年12月份的GANs论文一览
26. 这么多！11月份来的这些GAN论文都在解决什么方向的问题？

部分应用介绍：

1. 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？
2. 【无中生有的AI】关于deepfake的入门级梳理
3. 容颜渐失！GAN来预测？
4. 异常检测，GAN如何gan?
5. 虚拟换衣！这几篇最新论文不来GAN GAN？
6. 脸部妆容迁移！速览几篇用GAN来做的论文
7. 有点夸张、有点扭曲！速览GAN如何夸张漫画化人脸！
8. 见微知细之超分辨率GAN！附70多篇论文下载！
9. 天降斯雨，于我却无！GAN用于去雨如何？
10. 结合GAN的零次学习（zero-shot learning）
11. 强数据所难！SSL（半监督学习）结合GAN如何？
12. 弱水三千，只取你标！AL(主动学习)结合GAN如何？
13. 【1】GAN在医学图像上的生成，今如何？