原文链接
Chen Li, Kun Zhou（浙江大学CAD＆CG国家重点实验室）
Stephen Lin, Katsushi Ikeuchi（微软研究院）
概要
我们提出了一种在面部图像（可能包含不同的照明颜色）上去除镜面反射高光的方法。
这是通过利用人体皮肤和面部的物理和统计特性，准确实现的。
我们采用基于黑色素和血红蛋白的模型来表示面部皮肤的漫反射颜色变化，以及利用该模型在对于部分饱和的像素的有效的方式来约束高光解决方案。
通过估计脸上方向变化的照明颜色来进一步促进去除高光，这在利用基于统计的面部几何形状的近似的同时完成。
提出的一个重要的实用特征方法是用一种不需要相机颜色校准的方式来使用肤色模型。
而且，这种方法通常不需要假设(在以前的高光消除中需要)，例如均匀照明颜色或分段恒定表面颜色。
我们通过比较现有的去除高光的方法来验证这个新技术。
1.介绍
人脸通常呈现的镜面高光是由油性皮肤表面的光线反射引起的。
删除或减少照片中的这些高光是通常为了美学增强或目的而需要便于计算机视觉任务，如依赖于照明的外观变化阻碍人脸识别。
提取镜面高光层还可以为推断场景提供有用的信息表面法线和照明方向等属性。
镜面高光消除是一项具有挑战性的任务因为对于每个像素，估计的量（镜面颜色和漫反射颜色）的数量是其两倍观察（图像颜色）。
为了解决这个问题，以前方法通常需要简化假设成像条件，如白光[33,34,41，40]，分段均匀表面颜色[13,1]，重复表面纹理[31]，或暗通道[11]。
然而，面部图像不具备这些条件，它们通常在自然光照环境中捕获，并且不具有假定的表面特性。
为解决此问题，我们提供了一个利用人体皮肤和面部的物理和统计特性的方法，并加入一个近似的照明环境模型。
估计照明光及其颜色对于去除高光至关重要，因为高光反射具有照明光的颜色。
先前大多数去除高光技术简单地假设照明颜色是均匀或已知的，但现实世界的照片通常不是这种情况。
我们一起解决它和高光去除，在人脸上使用先验时。这样，我们的方法不仅可以在估算照明时考虑高光信息和面部先验，还可以估算出日常场景中经常出现的具有方向变化颜色的环境地图，就像一个办公室，有荧光天花板灯和窗户的阳光。
除了环境地图，更好的关于物体漫反射颜色的先验知识也很重要的，它可以有效地分离镜面高光。
人体皮肤是含有黑色素和血红蛋白的混浊介质两种主要色素。
黑色素存在大量的空间变化，包含在表皮层中，导致一些皮肤特征，如雀斑或痣。
血红蛋白是一种血液中的蛋白质，在真皮层流动，形成血液循环的表象。
肤色的变化主要是由这两种颜料的密度不同引起的。
皮肤较深是因为黑色素浓度更浓，粉红色的脸颊表明血红蛋白密度高。
我们使用一个基于这两种颜料的肤色模型作为估计漫反射颜色的约束，同事能有效处理导致测量颜色值部分饱和的高光。
当光照色度类似于漫反射色度时，将镜面反射高光与漫反射分离，会存在众所周知的模糊性。
在这种情况下，很难区分两个反射组件。
为解决这个问题，我们还使用基于统计的面部几何近似来帮助推断漫反射的幅度。
2.相关工作
在本节中，我们将简要回顾以前的单图像高光消除和照明估计。
早期的方法旨在通过分析颜色直方图分布恢复漫反射和镜面反射颜色，假设为分段恒定表面颜色。
这个色彩空间后来扩展的方法也考虑了图像空间配置，这使得能够处理表面可以修复的纹理或具有重复性的纹理结构。
最近的方法是首先导出具有相同的几何轮廓的伪漫反射图像，作为输入图像的漫反射组组件。
然后通过迭代传播漫射分量对相邻像素的色度最大值，来移除高光。
这种方法的变体是：在生成伪漫射图像之前采用暗通道[11]
基于双边滤波[41]提出了实时实施。
与以前的技术相比，我们的工作利用了额外的约束,一个特定对象的先验知识，即人脸。
这些物理和统计约束让我们避免以前表面纹理的限制,并能处理部分饱和像素，改变照明颜色和由类似的照明色度和漫反射色度引起的模糊。
照明估计在计算机视觉中也有很长的历史。 对这个问题的研究主要集中在估计光的方向分布或照明颜色，但不是两者。
相比之下，在我们的工作中，在人脸上利用物理和统计先验需要颜色和方向。
恢复光照方向分布的论文：已经分析了阴影、投射阴影和具有已知几何形状的表面上的镜面反射。
我们的方法也利用了表面形状来恢复表面光照，但估计未知的几何形状和光照需要人脸统计数据。
人眼反射也被用来估计照明环境，但需要近距离观察眼睛和虹膜纹理可以显着降低估计值。
有两种主要方法估计照明颜色，
一种是基于表面颜色的先验模型用来运用颜色恒定。
最与我们的工作密切相关的方法是利用一套全面的测量肤色。
然而，颜色恒定方法不适合我们的工作，因为它们既不能恢复方向分布也不能区分漫反射光的颜色（即从表面上半球）和镜面高光（即从镜面反射角度）
另一种方法基于双色反射模型。
在这个模型下，一个黑白表面的像素限于双色平面在rgb颜色空间。
为了确定这个平面对应于照明颜色，这些方法中有的用普朗克轨迹（将白炽黑体的光色建模为温度的函数）找到了二色平面的交点。
虽然普朗克轨迹是光色估计的强大物理约束，但是需要相机的颜色校准，为了广泛适用，我们避免了这个方法。
我们的方法也采用二色模型，但使用它与面部和皮肤属性相结合，约束颜色估计。
与这些技术不同，我们的方法要恢复光的方向分布。
3.反射模型
如前一节所述，双色性射模型已被普遍用于分离镜面反射。根据这个模型，不均匀的介电物体由两个反射分量组成，即漫反射和镜面反射。
p表示像素索引
3.1 照明建模
3.2 肤色模型
4 面部镜面高光去除
4.1 数据项
4.2 各向同性平滑度
4.3 各向异性平滑度
4.4 全局阴影项
4.5 优化
5. 结果
5.1 实验室图像
5.2 自然图像
6.结论
致谢
http://openaccess.thecvf.com/content_ECCV_2018/papers/Renjiao_Yi_Faces_as_Lighting_ECCV_2018_paper.pdf