Photometric Stereo光度立体三维重建（五）——基于深度学习的PS方法

本文将会介绍几种具有代表性的将深度学习与Photometric Stereo进行结合来进行三维重建的方法

一、开山之作 DPSN

论文：Deep Photometric Stereo Network
github：https://github.com/hiroaki-santo/deep-photometric-stereo-network

参数化的郎伯反射模型建立在理想的漫反射假设下，而且只适用于有限种类的材料，这种理想化的假设在实际环境中会受到全局照明以及光线遮挡的影响

论文提出直接用深度神经网络(DNN)来将观察值（像素强度）对表面法向量的映射进行直接建模

论文中还使用了Dropout来模拟光照被遮挡的影响

二、使用无监督学习 IRPS

论文：Neural Inverse Rendering for General Reflectance Photometric Stereo
github：https://github.com/t-taniai/neuralps

在learn-based PS中，会遇到的挑战有：
1、真实物体具有许多复杂以及未知的反射特性
2、训练数据的缺少，很难获取物体表面精确的法向量和BRDFs（也就是GT数据）
3、对输入数据进行任意排列不会改变输出的物体表面法向量

因此作者提出了一种以重构损失为指导的无监督学习方法

网络分为两个子网络，PSNet用于预测表面的法向量，IRNet使用渲染方程进行观察图像的逆渲染，然后将观测图像和逆渲染图像进行对比获得重构损失，同时网络的损失函数还增加了用最小二乘法算出的法向量以及PSNet预测出的反向量的误差损失，总的损失函数可以表达成：

三、使用全卷积网络 PS-FCN

论文：PS-FCN: A Flexible Learning Framework for Photometric Stereo
github：https://github.com/guanyingc/PS-FCN

在论文提出的网络中，给定任意数量的图像以及对应的光源方向作为输入，网络可以估计出物体表面的法向量

PS-FCN的结构为：

它主要包含三个部分：
1、共享权重的特征提取层
2、特征融合层，在特征融合层中，使用了Max-pooling，其优势在于可以面对输入数据顺序未知的情况，将任意特征图融合进同一特征图中，并且可以提取各个子特征图中最突出的信息
作者还对融合后的特征进行了可视化

a-h是128通道的特征图中的某8个通道，可以注意到具有相同法线方向的不同区域在不同通道中被激活，因此，每个通道都可以被解释为属于某一特定方向的法线的概率
3、法向量回归网络

网络采用的损失函数为：

四、建立逐个像素的观测映射 CNN-PS

论文：CNN-PS: CNN-based Photometric Stereo for General Non-Convex Surfaces
github：https://github.com/satoshi-ikehata/CNN-PS

作者提出了一种易于学习的表达，定义了一个观测映射，用映射后的表达来进行学习，作者定义这个映射为（α是正则化因子，L是光源方向）：


然后作者通过将观测映射进行不同角度的旋转后，对每个像素进行法向量的预测，然后将不同角度下的预测取平均获得最终结果：

五、无需进行光源标定 SDPSNet

论文：Self-calibrating Deep Photometric Stereo Networks
github：https://github.com/guanyingc/SDPS-Net

本文的作者也是第三个网络的作者，基于PS-FCN，作者增加了光源自标定网络来进行未标定的PS重建

作者提出了一个两阶段的网络：

在第一阶段的光源标定网络中，作者没有将光源的标定视为回归任务，而是将其看作一个分类任务，因此作者将光源方向所在的空间进行离散化：

比如在水平的180度范围中划分为36份，在垂直的90度范围内也划分为36份，这样就有了1296份离散空间，但这么大类别的分类会显得困难，因此作者将水平和垂直两部分进行分别预测分类，因此光源标定网络的损失函数为：

第二部分的法向量回归网络的结构与损失函数与上面介绍的第三个网络是一样的

另外，还有如Learning to Minify Photometric Stereo（LMPS）和SPLINE-Net: Sparse Photometric Stereo through Lighting
Interpolation and Normal Estimation Networks等等的方法，有空会继续更新

我组建了一个光度立体技术的交流群，有兴趣的朋友可以一起来讨论一下！