学习Wolff关于分离镜面反射与漫反射的文章

论文原名“Constraning Object Features Using a Polarization Reflectance Model”,这篇文章内容比较难以理解，他为以后偏振的发展做了很大的贡献，学习里面有关实际物体上反射光成分的划分有助于帮助自己实现镜面反射与漫反射分离这个目标，由于这篇文章晦涩难懂，特意在这里记录自己对这篇文章的理解与定位帮助自己分析理解。

1.首先，文章在摘要中提到：

在计算机视觉中，利用物理反射率模型来预测反射辐射强度和颜色，以获得对物体特征的约束，这一方法越来越受到重视。直到最近，对光的反射偏振状态的分析以及这可能为自动化视觉系统提供的特征约束的研究还相对较少。即使没有与人类视觉的类比，我们证明通过在相机前放置一个偏振片来分析反射光的偏振成分，可以得到有巨大价值的约束信息。我们提出了一种偏振反射模型由于用到了菲尼尔反射系数通常以菲尼尔反射模型而被人熟知。这个反射模型准确预测了反射光的偏振成分大小，并且以下本文中提到的所有基于偏振的方法都是来自于这个模型。

（Section III）我们证明了基于偏振的方法能够区分物体表面的材料根据不同的电导性，特别在区分绝缘体（它是不导电的）和金属（它有很强的导电性）。（Section IV）基于偏振的方法可以为区分不同的强度边缘类型提供线索，这些强度边缘类型由固有的亮-暗或颜色变化引起，强度边缘由反射引起，强度边缘由遮挡轮廓引起，其中观察方向几乎与表面法线正交。（Section V）分析反射偏振成分也能够区分镜面反射与漫反射，不显眼的物体表面的细节被强镜面反射光所遮挡。（Section VI）最终，我们提出了用于约束曲面法线的基于偏振的方法。

我们先直接看第二部分（Section II）这部分主要介绍了一种用于计算机视觉的偏振反射模型。比较重要。

第1节，材料表面的反射。材料表面不是完全光滑而是被假设为有微观层次的细节，它由大量按统计分布的微面元组成。存在额外水平的粗糙细节比如被刷凹糟。大多数来自于材料表面的反射光由以下四种现象引起。

1）

第2节，光和偏振。

第3节，菲尼尔反射模型：镜面部分。菲尼尔反射模型的形式第一次报告是在【35】给出最初入射光的偏振状态预测反射偏振部分的大小和相对相位。对于这里提到的处理部分线性偏振反射光的应用，我们不需要很全面的描述。特别地，我们不要求分析相互正交的反射偏振部分的相位。我们利用三个参数表示我们的偏振反射模型来描述投射辐射正弦波，因此来描述部分线性偏振状态。这些分别是最小和最大投射辐射强度Imin和Imax,还有相对于偏振角方向正弦波的相位（不要与相互正交的偏振部分相位混淆了）。从确定这三个参数出发，本文所涉及到的所有基于偏振的方法都遵循这一原则。

如图3所示，经过镜面反射的光的亮度根据菲涅耳反射系数(包括0和1)衰减。在我们偏振反射模型中确定在镜面反射中多少初始非偏振光变成了部分偏振光，菲涅耳反射系数起着至关重要的作用。正如上面讨论的，非偏振光在各个方向上具有等幅偏振分量。而且，对于镜面反射的偏振状态，垂直于反射平面的偏振分量是大于平行于反射平面的偏振分量的。我们解释这个是由于垂直于反射平面的菲尼尔反射系数Fs是比平行于反射平面的菲尼尔系数Fp大的，也就是说对于在一个倾斜角发生的单个镜面反射，垂直偏振分量的衰减幅度不如平行偏振分量的衰减幅度大。由于垂直偏振分量与平行偏振分量衰减的不同，使得镜面反射光变成了部分偏振。

假设非偏振光入射，反射光中镜面分量记为Is,镜面反射部分中的垂直分量和平行分量的表达式可由以下物理原则求得：

1）根据线性叠加原则，垂直偏振分量和水平偏振分量的总和是Is。

2）根据菲尼尔反射系数由于非偏振光在镜面反射中的衰减，垂直部分和水平部分的比例分量是Fs/Fp。

这让我们对偏振的垂直部分分量和水平部分分量分别有一套独特的表达方式：

    （2）

反射中镜面反射部分的传输辐射大小的一般表达式通过相对于入射面方向角为theta的偏振片给出，通过（2）中偏振部分分量的线性组合，以theata角投射到相对于入射面的轴上。由于给定方向上偏振分量的大小与该方向上电场强度的平方成正比，所以该线性组合为：

第4节，菲尼尔反射模型：漫反射部分。正如【40】中讨论的，对于非均匀绝缘体，反射中漫反射分量是非偏振的假设通常在闭塞的轮廓线附近是不成立的，那里的观察方向几乎垂直于表面法线。漫反射分量部分偏振是由上面现象中的（3）引起的，对于穿透表面的光波，多次内部折射后，再折射最终返回到空气中去。当入射非偏振光第一次穿透表面层时，它在空气与界面分解面以下变成了部分偏振。然而由于多次内部折射，在返回空气之前，多次内部折射是被假定为非偏振的。图6显示了根据斯涅尔折射定律，光线从表面进入空气时是如何弯曲的。同时，由于其中一个偏振分量对另一个偏振分量的大透射，从表面边界下发出的非偏振光在传出空气时变成了部分偏振。对于漫反射分量，平行偏振分量和垂直偏振分量的参考分别对应于由表面法线和观测矢量确定的发射面。在图6中，这个平面是页面。对于光滑表面上的一点，发射面与反射面（入射面）是一样的。

如图6所示，假设非均匀介质绝缘材料物体在表面-空气边界处的折射率为n，假设空气的折射率为1.0。从斯涅尔定律知和是相关的：

我们将在图6中表示当光从材料传输到空气中时的发射角。我们注意到，在一个物体点上对观察者的发射角与反射角相等且相反，因为镜面反射光线必须从这个角度反射到相机传感器上，而这个角度恰好与表面法线的入射角度相同。根据折射率比为1.0/n的菲涅耳反射系数，从表面-空气边界发出的光线反射回介质内部的光将会衰减。光的平行偏振分量和垂直偏振分量的衰减系数分别为和。通过和衰减传输到空气中的平行和垂直偏振分量。注意校正因子(1/n)，因为材料和空气两种不同折射率的波阻抗不同。利用上述相同的两个物理原理，除全漫反射分量Id外，平行和垂直漫反射偏振分量相对于发射面的大小分别为:

   

同样，可以利用上面定义的斯涅尔定律直接用表示。注意，修正因子(1/n)约掉了，没有起到作用。因此，通过偏振器定向于角theta相对于发射平面，漫反射分量的透射辐射强度的一般表达式为：

从部分偏振表达式时1可知，漫反射光的部分偏振等于    （6）

图7为纯漫反射实验得到的(虚线)和通过表达式（6）理论预测的(实线)部分偏振数据的对比图，该曲线是部分偏振度与观察向量与表面法线之间夹角的函数曲线。对7种不同入射角的已知折射率的陶瓷杯进行漫反射实验，得到了用x表示的实验数据。可以看出，实验数据与(6)所预测的实线理论曲线非常吻合，可以看出，当大于60度时，反射中漫反射分量的局部偏振度才显著大于10%。除了在闭合轮廓线附近变得较大外，大部分漫反射分量是非偏振的。远离遮挡轮廓，透射辐射正弦波是平坦的此时有：

观察（3）和（5）分别为透射光正弦波的镜面和漫反射分量，是从一个光滑的表面点90度异向反射的。对于镜面反射部分，Imax垂直于反射平面，而对于漫反射分量，Imax将平行于发射平面（相当于光滑物体点的入射平面）。之所以为什么这些振荡是90度反相的，原因其实非常简单的。光滑物体的镜面)。镜面分量和漫反射分量的部分偏振是由互补过程(分别为反射和透射)引起的。由于Fs >= Fp，镜面反射的最大透射辐射应垂直于入射平面（反射平面）。由于(1 -Fs) < (1- fp)，漫反射的最大透射辐射应平行于发射面，这相当于平行于入射面，因为这两个平面在光滑的物体点上重合。因为这两个平面对于一个光滑的物体点是重合的。漫反射部分偏振和镜面反射部分偏振的共同作用是一个透射辐射正弦波，其相位介于漫反射部分和镜面反射部分之间，取决于这些分量的相对大小。

第5节，详细观察菲尼尔反射系数。菲涅耳反射系数与材料表面折射率n和入射角有关。在最一般的形式下，折射率可以是一个复数，表示为n= n-ik。n称为简单折射率，k称为消光系数。绝缘体k= 0。用n和表示，菲涅耳反射系数由下式给出[28]:

  （7）

  （8）

其中，

对于每一种介质，都有一个入射角度使得Fp变为零。这被称为介质的布鲁斯特角，它等于，对于大多数介质来说，与60°相差不远。折射率1.7介质(典型的塑料、橡胶和陶瓷介质)的菲涅耳反射系数如图8(a)所示，铝介质的菲涅耳反射系数如图8(b)所示。

图9(a)为内部折射率n = 1.5的介质内部反射光的菲涅耳反射系数，是内部入射角度的函数。对于临界角等于或大于等于的所有内角，所有的内部光线全内反射回到材料中。在临界角以上，折射率为1/n的菲涅耳反射系数为具有单位模量的复数。图9(b)为由n=1.5的介质发射到空气中的光，其透射辐射和随发射角和折射率1/n的函数图像。可以看得出来平行传输分量大于垂直传输分量。

接下来先看第五大部分（Section V）分离反射分量

镜面眩光对人眼视觉和通过计算机视觉方法对图像的理解都产生了一定的影响。在上一节中，我们解决的问题之一是消除由物体表面固有反照率变化引起的强度边缘和由高光引起的强度边缘之间的歧义，高光是照明的产物，不是物体表面细节的一部分。由于镜面反射的明亮性，一旦确定了镜面反射的存在，往往会造成镜面反射对视觉细节的模糊。在之前的工作中，Shafer [27]， Klinker [19]， Klinker等人[26]提出了一种基于颜色的方法，定量从非均匀介质表面上的潜在漫反射成分中分离出镜面反射。

人类一般会遭遇由太阳高光引起的能见度降低问题。为了帮助更好的视力，太阳镜是用来衰减镜面反射的，而不会过多衰减漫反射，从而揭示重要的细节信息。这不能简单地使用中性密度滤波器来实现，因为它们将减少漫反射，就像它们减少镜面反射一样。非常好的太阳镜使用偏振滤光片，在大多数情况下，选择性地减少镜面反射比减少漫反射要明显得多。这背后的原理是菲涅耳反射模型的一个简单实例。从介质表面(如海水、沙滩沙或道路沥青)反射到眼睛里的光，主要对于观察者是水平偏振的。在眼睛前面放置一个垂直于传输方向的线性偏振器，在大多数入射角上，将显著地阻塞超过一半的镜面反射，而只阻塞典型的非偏振漫反射部分中的一半。实际上，太阳眼镜试图在III-B部分实现(10) {}，传输远小于镜面偏振分量的平行于镜面的分量，从而传输Imin。

对于恰好在介质布儒斯特角上发生反射的镜面反射分量，由于在这个入射角上没有平行的镜面偏振分量被反射，使用偏振片的太阳镜可以完全去除镜面反射分量。离布儒斯特角越远发生的反射，反射系数越小。观察到的镜面反射眩光将有效减少。偏光片太阳镜难以减少金属表面的镜面眩光，因为正如我们已经讨论过的，金属的镜面反射不如绝缘体的镜面反射偏振度高。

理想情况下，为了获得最佳的视觉重建效果，我们需要一种技术，可以将介质和金属表面的镜面反射和漫反射分量分离出来，而不考虑镜面入射角。光波的线性叠加原理意味着全反射的偏振态等于反射的单个漫反射分量和镜面反射分量的偏振态之和。由于我们考虑偏振态是垂直和平行于参考平面(如反射平面或发射面)的偏振分量的大小，偏振态本质上是二维的。因此，利用光的偏振成分分析全反射光，分离漫反射分量和镜面反射分量的问题，可以转化为求解由菲涅耳反射率模型预测的(9)、(10)等两个变量中两个联立方程的问题。观察这组方程，Id和Is的一个解，当且仅当漫反射成分和镜面反射成分的偏振状态(列系数)是独立时存在。这对于任何不等于0或90度的斜入射角都是成立的，因为对于这样的入射角Fp< Fs。

          (9)

           (10)

首先观察，为了求解(9)和(10)，必须知道菲涅耳反射系数Fs和Fp。反过来，这就需要知道镜面入射角和对应于每个像素的材料的折射率。对于大多数视觉应用程序环境，这是一个非常受限的要求。然而，我们注意到Is项前面的分数可以直接用偏振菲涅耳比来表示，偏振菲涅耳比我们可以表示为：

方程（9）和（10）可以等效表示为：

    (13)

    (14)

如果能准确估计偏振菲涅耳比，则可以求解ld和Is。(13)和(14)从视觉应用的角度来看的优雅之处在于，正如在第三节中所看到的，偏振菲涅耳比可以在不知道入射角或折射率的情况下估算出来。实际上，偏振菲涅耳比可用于材料的分类在第一部分。

使用菲涅耳反射模型,充分考虑漫反射分量的部分偏振,来分离反射分量需要知道入射角或折射率，因为如果不直接使用菲涅耳反射系数，就没有很明显的方法来重新表示Id项前面的分数。假设一个非偏振的漫反射成分将产生可用的结果，除了可能在遮挡轮廓，部分偏振漫反射成分将被错误地解释为来自一个轻微的高光成分。然而，正如第四节中所讨论的，在一定条件下，可以识别遮挡轮廓的漫反射，初步确定这种漫反射可以用来指导反射分量分离技术，而不是在这些图像区域进行任何分离。假设有一个非偏振漫反射分量，在遮挡轮廓附近分离镜面反射时可能会出现一些问题，但我们证明了计算结果是相当准确的。

我们在IIl节中使用Imax/Imin在一个像素处的值估计偏振菲涅耳比，其中隐式假设了漫反射分量Id为0。这了可以直接将Imax/Imin代入（13）（14）式。由于我们要分离的实际上是反射的漫反射分量，因此我们需要一种估计偏振菲涅耳比的方法，它不需要假设漫反射分量与镜面分量相比可以忽略不计。为此，我们将不得不牺牲IIl节中实现的像素位置，以获得更全局的方法。[36]和[38]中首次使用的一种方法利用了这样一个事实，即由于照明光源的空间不均匀性和表面方向的微小变化，反射的镜面分量通常在像素之间存在显著差异。式(13)和(14)在Imin和Imax下确定如下线性方程：

因此，根据菲涅耳反射率模型，在多个像素上显著变化的镜面反射分量意味着在二维空间绘制的坐标对(Imin, Imax)应该形成一个斜率为偏振菲涅耳比Fs/Fp的线性簇。图14显示了在几百像素以上的金属线性簇(图14(a))和绝缘体表面线性簇(图14(b))。我们假设在这个组的像素上偏振菲尼尔比和漫反射分量Id是个常数。反射Id的漫反射分量是常数。第三节中确定偏振菲涅耳比的方法本质上是用Imax/Imin从单个像素估计这样一个线性簇的斜率，如果线性簇几乎与原点相交，这是一个很好的估计。然而，由于具有重要的漫反射分量Id，线性簇具有负的垂直轴截距，需要簇上额外的点来估计斜率。

图15显示了在从绝缘体材质杯子上的漫反射分量中分离出镜面反射时，用的这种线性聚类方法估计偏振菲涅耳比。高光掩盖了由颜色和反照率变化引起的细节。通过对像素产生线性簇(Imin, Imax)，其中至少有10%的部分偏振。通过对拟合数据的直线斜率进行最小二乘估计，得到偏振菲涅耳比。因为我们知道光源大致在杯子后面，所以当投射到像平面上时，镜面大致是垂直的。当偏振片相对于图像平面垂直放置时，Imax出现的像素点作为接收部分偏振漫反射的遮挡轮廓像素。这些像素既不构成线性簇，也不能在这些像素处分离出反射分量。图16显示了从水平拉丝的粗糙铝金属表面分离出的反射分量。近乎点状的圆形光源的反射在垂直方向上被拉丝脊的镜面反射所污染。从漫反射分量图中可以看出，刷状脊之间有一点镜面反射。从镜面反射分量图中，我们观察到在较亮的反射线周围有一个较柔和的“高光霾”来自一些随机方向的面。

到目前为止，我们已经考虑了直接来自典型的非偏振光源的推测。然而，在某些情况下，已经经历了一个或多个镜面反射的光会产生一些偏振光。这种光在反射到相机传感器之前已经部分偏振。我们现在考虑当入射光有未知的部分偏振时镜面反射和漫反射分量的分离。考虑入射部分偏振态为(a, b)，其中a为平行于入射面的偏振分量的大小，b为垂直于入射面的偏振分量的大小。在不失一般性的情况下，对这些大小进行归一化，使a +b= 1。我们仍然近似地假定反射的漫反射分量是非偏振的。然而，对于镜面反射光，垂直偏振分量与平行偏振分量的比值现在是。式(13)和式(14)可推广到:

  (15)

  (16)

上式利用 代替q，式(15)和式(16)表示Imax与Imin之间存在如下线性关系:

这进而预测了一个线性簇(Imin, Imax)对斜率为 。这不是一个分离反射分量的问题，因为 的值是直接计算出来的。但是，由于比值未知，偏振菲涅耳比q的真实值也未知，并且像材料分类这样的技术也不能同时进行。

图17显示了两个陶瓷杯场景中的一些主要和次要特征。主要的特征如在右边杯子的边缘和左边杯子的大部分身体上发生的单次镜面反射。次要的特征如在右边杯子上左边的遮挡轮廓和在处理的两个杯很近时发生的相互反射。从局部偏振图像的分割中我们可以看到，有许多主要的和次要的个体的“连通斑点”镜面反射光。通过知道反射面近似水平，避免了部分偏振漫反射在遮挡轮廓处的问题。我们通过计算每个“连通斑点”个体内像素点形成的线性簇的斜率常数，分离了每个“连通斑点”上的反射分量。

图18显示了发生在金属碗和陶瓷杯之间的镜面反射光。在这个场景中，还有初级的、次级的甚至是第三级的镜面反射光。分割图像、漫反射和镜面反射分量图像的计算方法跟图17所示一致。左边的大的镜面高光无法被分割，不是由于我们的方法有问题，而是由于这种反射性的亮度饱和了相机。我们相机的动态范围不够大，无法同时捕捉到这种明亮的镜面反射光和不那么明亮的镜面反射光和三级镜面反射光。图17例和18例中使用的部分偏振阈值低至5%，以确保识别不那么明亮的非初级镜面反射光。