他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!

昆士兰大学的博士毕业典礼,每年两次,七月和十二月各有一次。

作为世界级名校,昆士兰大学的留学生众多。对于来自天南海北的留学生们来说,把人凑齐并不容易。所以校方很贴心地在年中和年末各组织一次毕业典礼,为的就是让博士毕业生们调配好时间。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第1张图片


但对于刚刚博士毕业的李元来说,似乎命运跟他开了一个小玩笑,让他的博士生涯注定不能以毕业典礼作为句号,因为这两次毕业典礼,他都错过了。

李元之所以两次错过,都是因为百度。第一次毕业典礼时,他刚刚入职百度视觉技术部,时间上来不及。而第二次毕业典礼时,他正在百度科技园中,为“焕彩”项目与时间赛跑。



1

2009年,央视播出了战争纪录片《天启》,片子一经播出,好评如潮。二战的纪录片虽多,却从未有哪部作品可以像《天启》一样引起如此巨大的反响。

因为这部纪录片的制作团队搜集了大量二战时的影像资料,很多还是从未公开过的珍藏影像,通过数字化手段修复和上色,变成了全彩色录像。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第2张图片

《天启》电影片段


这是色彩的力量。色彩让七十多年前的人物重新焕发了生命力,在黑白照片中显得机械麻木的人物瞬间变得鲜活。

我们看黑白影像时,会有强烈的距离感,因为黑白颜色下的一切与我们日常生活的世界截然不同。

因此,黑白形象的作品会给人历史感,而年代更久远的古代油画反倒更能让人感到亲切。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第3张图片


上面这两张照片,分别拍摄于上世纪四十年代的美国和中国,但右边一看就知道是历史照片,左边却真实、直观得多。

美欧等国家,由于经济发达,彩色摄像技术很早就已普及。五十年代中期,美国的电影就已经以彩色为主。从六十年代开始,美国的彩色相片就已经非常普遍了。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第4张图片

六十年代的美国彩色照片



2

然而彩色照片对于中国人来说,直到九十年代,都是一件稀罕物。

虽然在九十年代前,中国也拥有彩色摄影技术,但多用于官方重大场合,普通百姓想拍一张彩色照片非常困难。

在那个年代,如果人们实在想要一张彩色相片,需要将相片送到照相馆里“勾色”,让专业人士用画的方式为黑白照片上色,价格昂贵,费时费力。

所以在改革开放初期及之前,大多数的家庭照片是这样的:


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第5张图片


黑白色的全家福,是当年家庭照片中占最大比例的部分,毕竟当年要照相并不容易。而彩色的家庭照片,在八十年代是非常罕见的。

直到“傻瓜相机”的普及,国人才算真正告别了黑白照片时代。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第6张图片

老式“傻瓜相机”


家庭相机的全面普及,对于国人来说不过二十年时间。在此之前,照相的人们大部分都要去照相馆。那个年代照相是一件大事,每张照片对于家庭的意义都不寻常。

现代人可以随时随地毫无限制地保留信息,视频和相片在网络中的保存空间几乎没有上限。而上一个时代的记忆,却永远以黑白照片的形式,保留在了每个家庭的相册里。

如果这些照片能够像纪录片一样重新上色,这些记忆就能以新的形式出现在人们面前。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第7张图片

那些曾经的黑白老照片


在改革开放四十周年之际,新华社希望能够让上个时代的记忆重新恢复,将两个时代的记忆放在一起,让人们感受到改革开放的巨大成就。

但没有人能够像纪录片制作者一样一张一张地为万千家庭的黑白照片上色。要做成这件事,需要一种工具,一种每个人能够使用的工具。



3

2018年十一月初,百度视觉技术部的产品经理张一桐接到了一个任务:能不能利用现有的技术,将黑白照片恢复成彩色?

在此之前,视觉技术部团队中的同学们一直在进行彩色增强渲染的工作,将效果不好的彩色照片进行修补和增强。

将黑白照片染色,在原理上与团队之前的工作有一定相似性,却是一个之前从未尝试过的领域。团队成员用了两天来实验项目可行性,最终确定——百度的 AI 技术能够胜任这个任务!

将黑白照片上色的原理是什么呢?

在黑白相机时代,虽然彩色的景观呈现在相片上是黑白的,但景观颜色的不同,在黑白照片上呈现的灰度也是不同的。依据黑白相片灰度的不同,AI 能大致判别物品的颜色。

但依据灰度判别颜色不一定十分准确,一些灰度上的细微差别,造成的结果差异可能失之毫厘,差之千里。比如蓝色和绿色的灰度接近,但如果上色后的草成了蓝色,牛仔裤成了绿色,那就大错特错了。

他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第8张图片


“我们需要让 AI 拥有常识,让它可以判断不同场景下的物品应该是什么颜色。神经网络就像一个简化的大脑,你教给他东西,他就能记住东西,做出判断。”李元说。

要做到这点,需要让 AI 拥有图形判别的能力。要让 AI 能够“认识”物品,既需要大量的数据练习,也需要时间去让算法学习。技术团队的成员们只有一个月的时间,这对于神经网络的训练需求来说是非常紧张的。

李元说:“焕彩项目的服务采用的是目前最为前沿的一种生成式对抗网络技术。这项技术有两个关键点:一是图像生成器,二是对抗式学习方式。”

所谓图像生成器,就是当你给出一张黑白照片要生成彩色照片时,需要我们的生成器博闻广识,能准确的“回忆”起图片里面的事物原来是什么颜色。我们采用了一种定制化的神经网络结构,从而优化了生成器的这种记忆能力。

而对抗式学习方式则是难点中的难点。为了训练生成器,我们又设计了新颖的判别器和损失函数来评价生成的彩色图像和真实彩色图像的接近程度。在学习过程中,生成器努力“记忆”事物的色彩分布情况,使自己还原出来的彩色图像越来越真实,让判别器越来越难分辨。

比较文艺地说,这种学习方式就是周伯通发明的左右互搏,一只手是生成器,另一只是判别器。等到两只手互搏的难分高下,都成为武林高手之后,生成器就能为我们复原出生动的彩色图像了。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第9张图片



团队的成员们加班加点,在一个月的时间内,经过对万余张照片的学习,算法能力数次迭代,从最初的将蓝色衣服染成黑色,到上线时能够清晰地为碎花裙的每一块准确上色,神经网络在数据的滋养下越变越强。

在对大量数据进行深度学习之后,百度的 AI 技术终于能够对黑白照片的图像做出较为准确的判断和上色。



4

作为产品经理,张一桐负责对整个项目架构和测试等等的协调工作,她说:“对于架构、测试和数据方面的协调是与技术测试同时进行的,因为我们怕时间太紧,为了让项目如期上线,很多事情都需要提前做。

不过好在咱们(百度)的文化比较直接,有什么话在 Hi(百度内部即时通讯软件)上可以直接说,几个部门的人只要几句话就可以叫来一起干活了。大家都很认可这件事的意义,都向着共同的目标努力。”

对于这场涉及多个部门的“协同作战”,每一位“参战者”都给予了最大程度的配合。

除了视觉技术部的技术团队之外,为了让 AI 模型能够适配到手机上,石立伟等百度系统部的同学们对 AI 模型进行瘦身和加速,能以更小的硬件开销提供更多的线上资源;高飞等 AI 测试部的同学们负责对项目进行测试,主要包括质量检测和压力检测,以保证模型能够在线上环境中稳定运行;而邓晓光等平台测试部的同学们则负责对数据采集和清洗。

项目的成功上线,是多个部门的同学们群策群力的结果。

虽然各部门的同学都在加班加点,甚至很多同学都牺牲了自己的休息时间,但由于时间太紧,在正式上线之后,技术团队的成员们依然不尽满意:“如果能给我们两三个月的时间,我们能把效果做到更好。”

当李元为了算法迭代而日夜努力时,在距离北京八千公里外的澳大利亚布里斯班,昆士兰大学举办了本该有他参加的博士生毕业典礼。

“所以最后没有参加上毕业典礼,你觉得遗憾吗?”

“当然遗憾啦!毕竟这辈子就一次,难道你想让我再考一个博士吗?”

提起错过的毕业典礼,李元虽然说着遗憾,但脸上却依然洋溢着笑容。



5

项目上线之后,百度的同学们想为这个技术起名,经过集思广益,最终确定了一个名字——“焕彩。”

「焕」字既象征着「更换」的「换」,也象征着「焕发」的「焕」。几十年前的旧照片,通过与最尖端科技的结合,焕发了新的生机,染上了新的色彩。

在“焕彩”下,父亲年轻时的面庞有了色彩:


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第10张图片


儿时的家庭记忆,似乎突然有了温度:


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第11张图片


曾经的青春岁月,被人们再次想起:


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第12张图片


12月14日,H5 上线之后的一周内,有570多万人参与了黑白照片上色,有12万人上传了自己的黑白照片。

12万张黑白照片,代表着12万份回忆,被重新上色,被重新拾起,从黑白的记忆变成了彩色的记忆。


他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!_第13张图片


实际上,AI 在视觉效果上能做的,远远不止为照片上色这么简单,老照片修复、黑白录影上色修复等,都可以将 AI 作为工具。

在我国全国各地遍布着大大小小的档案馆、博物馆,其中很多都有这些机构自己珍藏的历史照片与录像,这些影像资料都背负着各自背后的一段故事。可惜在众多的影像中,有些色彩斑驳,有些残缺不全。

单纯地靠人力,难以将海量资料一一修复与上色,但在 AI 时代,机器可以帮助人达到这个目标,人工智能未来在文化保护上的贡献难以估量。

在 H5 上线之后,项目组的成员们还将继续对算法进行优化和迭代,因为大家都相信,这种技术在未来将会有更大的发展空间。

也许未来的某一天,在 AI 的帮助下,近代中国所有的历史影像资料都能被修复上色,中国将有一部彩色的近代史。到那个时候,相信中国人也能拥有讲述自己历史的《天启》!


*文中张一桐、李元、石立伟、高飞、邓晓光为化名


你可能感兴趣的:(他们花了一个月用几万张照片训练出的机器,把黑白照片变成彩色!)