基于深度学习的图像重照明实践学习笔记(1)

基于深度学习的图像重照明实践是“AI大陆”上实践类系列课程之一，项目实现任务为图像重照明，是人工智能计算机视觉图像处理领域的一个典型的图像增强任务。

1.为什么要开设这样一个项目的课程

• 第一，带领刚开始学习人工智能的小伙伴从图像处理任务开始入门，熟悉项目内容相关的知识，掌握学习的思路和方法，包括文献调研，论文阅读，知识盲点的攻克等；
• 第二，从零入门AI实践，从以往的纸上谈兵，一步跨越到学以致用，在实践中学习，包括linux开发环境，python/shell编程语言，深度学习框架pytorch，Relighting代码架构及开发管理，代码的具体实践等。

2.这是一个什么样的项目

• 本项目来源于“AIM 2020 Relighting Challenge Track 1 one-to-one relighting”，是一个图像处理类的国际挑战赛的一个子任务。AIM全称为Advances in Image Manipulation，AIM竞赛每年举办一次，各大高校、研究院所、公司都参与角逐。同类的比赛还有PIRM（Perceptual Image Restoration and Manipulation）、 CLIC（Challenge on Learned Image Compression)、以及NTIRE（New Trends in Image Restoration and Enhancement)。

• 官网：https://data.vision.ee.ethz.ch/cvl/aim20/

• 竞赛任务：One-to-one Relighting：目标是将输入图像从一组预定义的照明设置（即北，6500K）转换为另一组预定义的照明设置（东，4500K）。图像的分辨率为1024×1024，包括输入和输出，仅提供输入图像。

• 竞赛评价指标：刷榜期间使用PSNR和SSIM 指标评估结果，并提供自报告的运行时间和实现细节。
  对于最终排名，使用平均感知分数（MPS），定义为标准化SSIM和LPIPS 分数的平均值，它们在每个提交的整个测试集中的平均值为0.5·（S +（1 - L）），其中S是SSIM分数，L是LPIPS分数。
  LPIPS：Learned Perceptual Image Patch Similarity，用深度特征度量的图像相似度，CVPR 2018.
  

• 竞赛步骤：
  第一，报名参加并熟悉赛题要求，比如任务，评价指标，分几个阶段等；
  第二，下载数据，并结合赛题对数据进行分析，有必要时清洗数据；
  第三，开发模型，解决赛题任务，并评测，拿反馈，优化模型，如此迭代；
  第四，下载测试数据，提交结果，有可能包含测试代码和测试结果，之后举办方评测；
  第五，同时准备论文，投稿竞赛的Workshop，之后举办方进行审稿；
  第六，等待举办方发布评测结果，拿到竞赛名次；等待论文审稿结果，需要修改务必好好修改；根据情况，参加workshop分享自己的方法和经验。
  第七，结束。

• 竞赛难点：对于所有AI类竞赛来说，“对任务和数据的透彻理解，开发模型，并不断优化”无疑是共有的难点。其实，竞赛还是一个比较复杂的活动，上述步骤中的每一步都需要非常用心，才能步步坚实，获得竞赛成功。
  对于本次竞赛Relighting赛题来说，评价指标无疑是最关键的一个环节，参与的小伙伴都知道，初期为MOS，最后换成了MPS，所以还要忍受举办方对比赛规则的改动带来的消极影响。
  项目解决什么问题：图像重照明任务一般是给定一个输入图片，输出一个重照明后的图片，重照明就是说输出的图片中场景光照效果不同了。图像重照明相当于重新生成了一个图片，只是通过人工智能算法改变了输入图像中的像素值的大小，使得像素的亮度发生规律性的改变，整体看起来就是图像场景的光照发生了变化。
  

• 项目效果如何：我们来看一下本项目所选用的模型的测试结果，左边是输入，右边是模型输出，多看几张对比我们可以发现：第三，从场景照明光线色温来看，基本发生了比较一致性的变化，比如输入图片场景的色温偏冷色，输出图片场景的色温偏暖色。
  

3.如何一步一步开始学习这个项目

• 分析项目任务，熟悉项目数据（第二次直播内容）
  项目摘要
• 入门AI，做到心中有数（第三次直播内容）
  项目预备知识
• 学习算法，把握AI的灵魂（第四次直播内容）
  项目论文解析
• 实践代码，用另一个视角看世界（第五次直播内容）
  项目代码解析（重点且最为详细的部分）

4.哪里可以获取更多此类学习资源？

第一次课程直播回放链接：https://www.bilibili.com/video/BV15o4y1o7od/