基于深度学习的图像重照明实践学习笔记(4)

项目论文解析

项目核心论文是哪一篇？

Deep Relighting Networks for Image Light Source Manipulation

项目相关论文是哪一篇？

• Encoder-decoder latent space manipulation (A. Dherse, M. Everaert, and J. Gwizdala): [Paper] - [Code]
• Norm-Relighting-U-Net (M. Afifi and M. Brown): [Code]
• (ECCVW2020)Deep relighting networks for image light source manipulation (L.Wang, Z. Liu, C. Li, W. Siu, D. Lun): [Paper] - [Code]
• (ECCVW2020) An ensemble neural network for scene relighting with light classification (Dong, L., Jiang, Z., Li, C.)
• (ECCVW2020) SA-AE for any-to-any relighting (Hu, Z., Huang, X., Li, Y., Wang, Q.)

项目前沿进展有哪些？

• Deferred Neural Lighting: Free-viewpoint Relighting from Unstructured Photographs
  
• A Neural Rendering Framework for Free-Viewpoint Relighting
  
• AIM2020: Scene Relighting and Illumination Estimation Challenge (ECCVW 2020)
  

核心论文的模型结构是怎么样的？

将输入图片分别放进全景提取网络（Scene Recon）和阴影提取网络（Shadow Prior Estimation）通过卷积层提取特征值后采用反卷积操作恢复出期望图片。根据判别器输出结果每个网络选取最优图片进行组合。最后将不同卷积核处理后的图片通过校验器（Recalibration）后得到目标图片。

其他论文的模型结构是怎么样的？

• A Neural Rendering Framework for Free-Viewpoint Relighting
  
  首先将图片进行照明的初始化，建立图像到全景图的映射，用图像像素填充环境图。取映射到环境地图中相同位置的图像像素的中值以减少重影现象。然后将环境图投影到球状谐波基上，得到球状谐波系数的初始值。
  同时，神经纹理提供3D场景潜在属性编码。其将神经纹理的前三个通道作为漫反射通道，后三个通道作为镜面反射通道。对于其余的通道，网络中并没有加以另外的限制从而编码潜在属性。
  之后通过光传输网络（LTN）来预测每个像素在采样光方向上的光传输。

• Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool (CVPR 2020)
  
  将三维图片转化为二维图片，转化后的图片经过Splatting Processing Network，原点集经过Neural Voxel Renderer后的输出与前者的输出相结合，之后再通过Nerual Rerendering Network后得到目标图片。

• Learning Implicit Surface Light Fields (arXiv 2020)
  
  将输入图片经过编码器降维后输入到特征向量，将几何数据同样经过几何数据编码器降维，与上面的特征向量相结合，一起通过外观合成网络，之后再通过重照明网络，最终得到目标输出。