开源: CVPR 2020 修复你的老照片

点击上方“计算机视觉工坊”,选择“星标”

干货第一时间送达

开源: CVPR 2020 修复你的老照片_第1张图片

今天介绍的是CVPR 2020 Oral的「老照片修复」工作。

首先给出代码+主页+视频:

「Code」: github.com/microsoft/Bringing-Old-Photos-Back-to-Life

「主页」:raywzy.com/Old_Photo

论文在「计算机视觉工坊」后台回复「oldphoto」获取,下面是本文的视频讲解,感兴趣的同学可以看看。

摘要

本文提出一种通过深度学习的方法恢复严重退化的旧照片的算法。与传统的有监督学习方法不同的是,真实照片的退化是复杂的,合成图像与真实旧照片之间的域差距使得网络无法进行泛化。

因此,本文利用真实照片和大量合成图像对,提出一个新的三重态域转换网络(triplet domain translation network)。具体来说,我们训练两个变分自动编码器(VAEs)来分别将旧照片和干净照片转换为两个潜在空间。利用合成的成对数据学习这两个潜在空间之间的转换。这个转换很好地推广到真实照片,因为在紧凑的潜在空间中域间隙是非常紧凑的。此外,为了解决一张旧照片中混合的多个退化问题,我们设计了一个具有部分非局部块(partial nonlocal block)的全局分支和局部分支。其中全局分支主要针对结构化缺陷,如划痕和灰尘斑点;局部分支针对非结构化缺陷,如噪声和模糊。两个分支在潜在空间融合,提高了从多个缺陷恢复旧照片的能力。该方法在旧照片恢复的视觉质量方面优于现有的方法。

方法

开源: CVPR 2020 修复你的老照片_第2张图片

开源: CVPR 2020 修复你的老照片_第3张图片

开源: CVPR 2020 修复你的老照片_第4张图片

实验

开源: CVPR 2020 修复你的老照片_第5张图片

开源: CVPR 2020 修复你的老照片_第6张图片

开源: CVPR 2020 修复你的老照片_第7张图片

下载1

在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。

重磅!计算机视觉工坊-学习交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

开源: CVPR 2020 修复你的老照片_第8张图片

▲长按加微信群或投稿

开源: CVPR 2020 修复你的老照片_第9张图片

▲长按关注公众号

觉得有用,麻烦给个赞和在看~  开源: CVPR 2020 修复你的老照片_第10张图片

你可能感兴趣的:(人工智能,计算机视觉,机器学习,深度学习,python)