姓名：王天宇
学号：20181213976
学院：物理与光电工程学院
【嵌牛导读】
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、软件算法研究与嵌入式系统设计领域的共性问题和核心技术。
【嵌牛鼻子】
基于多光谱机器视觉的针对高反光无纹理目标的三维重建
【嵌牛提问】
如何应对低纹理、高反光目标在重建过程中的数据丢失、重建完成率低等问题？
【嵌牛内容】
对于传统的基于视觉成像的目标三维重建方法，纹理稀疏甚至缺失会造成难以提取到足够的特征点，使得恢复结果只能得到边缘轮廓等部分信息；大面积的耀光会造成图像传感器饱和﹐丢失耀光处的数据信息，造成恢复结果会出现大面积的数据空洞。
如果仅仅依靠偏振成像，对目标进行三维重建，有着法线方向的二义性，即不确定性问题，只能得到在像素坐标下的相对深度信息。因此，利用偏振成像获得的目标表面的几何信息再结合其它手段来解决方向二义性或者转化为绝对深度成为近几年计算机视觉的热点问题。
而利用偏振成像技术对目标进行三维重建，需要对目标表面所有微元的法向量进行求解，即对方位角和天顶角进行求解。在根据菲涅耳原理、折射定律以及偏振度的定义构建的关系中求解天顶角时，表面材料的折射率n是求解天顶角的过程中一个非常重要的先验信息。但在实际应用中，对于许多非合作目标的测量、陌生环境中的目标的探测等，目标表面的材料特性通常是未知的，此时天顶角、偏振度和目标表面折射率间的关系是一个欠定方程，即我们无法在只知道偏振度的情况下获取天顶角。
为了解决实际应用中缺失的目标表面材料特性的先验信息，赵永强等人于2018年提出基于多波段偏振成像的三维重建方法，利用柯西色散方程将折射率展开为关于波长的有理函数，待求解的是波长的系数。随着不同波长数量的逐渐增加，色散方程的数量将超过未知变量的数量，使得天顶角和入射角的求解变成正定的问题。将色散方程代入表示天顶角和偏振度之间关系的方程中，便转化为非线性最小二乘问题，利用线性搜索或置信区间的方法便可以同时估计出天顶角和色散方程系数的最优解。得到天顶角后，便可以根据几何原理获得法向量，同时获得物体的折射系数，并对目标表面进行重建。
在损失函数中加入柯西色散方程作为折射率的约束，利用这个约束可以将损失函数变为有M+1个变量的方程，当色散方程系数的个数M使得M+1≤N时（N为不同波段的数量），就可以用线性搜索或置信区间的手段求解非线性最小二乘问题。
作为验证，赵永强等人搭建了偏振图像采集系统，分别以石膏圆柱、苹果、瓷碗和卫星模型作为重建目标。以水平方向为参考，分别获得线偏振片处于0°、45°、90°及135°时的偏振图像，并从每一幅图像中分理出RGB三个波段，使得每一个波段都有四幅偏振图像，组成多波段偏振图像。
考虑到目标表面的耀光、光斑等杂散光分量具有强偏振效应，可以近似为部分线偏振光；漫反射分量起偏效应弱，可近似为无偏光；并且杂散光在不同的波段也有着不同的偏振态。因此为了避免目标受到杂散光的干扰，影响重建的准确性，首先对重构的目标图像进行了基于多波段偏振的去耀光预处理，提高目标三维重构的视觉性能。
基于偏振多光谱的耀光去除预处理方法主要包含以下几个步骤：
第一步：构建联合偏振光谱特征向量进行杂散光检测，结合线偏振度及强度信息对杂散光区域进行有效准确的检测。
第二步：获取最大最小偏振光谱差分图像（单通道无耀光图像）。经过分析，最大、最小偏振光谱差分图像仅与目标的漫反射分量有关，而与镜面杂散光无关。因此，利用0°、45°、90°3个偏振方向的光谱差分图像，进行线性加权，生成单通道无耀光图像SSF，避免了耀光、光斑等杂散光的干扰，同时保留目标原有信息,能有效地引导后续杂散光的分离抑制。
第三步：基于最大、最小偏振光谱差分图像，实现杂散光分量分离。对于前两步中检测到的杂散光区域像素点，可在单通道无耀光图像SSF中寻求其强度值最接近的漫反射像素点，将此漫反射像素点原有的色彩强度作为杂散光像素点的漫反射色彩强度。基于以上策略，提出一种全局处理的最小二乘系数分解算法。该算法在SSF图像进行全局遍历搜寻，对检测到的杂散光区域实现有效引导反射系数分离，最终得到准确的杂散光分离结果。石膏圆柱、苹果、瓷碗和卫星模型的试验结果分别如图所示。
对比实验结果，可以看出，传统的双目三维重构方法由于需要丰富的纹理信息及对反光特性的依赖，对于高反光，纹理单一甚至缺失这一类特殊目标，如石膏圆柱、没有花纹的瓷碗、苹果等，无法提取丰富的特征点，从而导致重构结果出现大面积的数据空洞，无法很好地恢复目标的表面特性，而基于多波段偏振的三维重构方法不需要依赖目标表面的纹理信息，仅需要利用偏振和光谱的信息，得到了目标表面完整的三维信息，同时还能进一步对目标三维结构和折射率进行联合估计。
赵永强等人提出的基于多波段偏振的三维重构方法对图像的光谱和偏振信息进行提取，辅以摄影测量和机器视觉技术，实现了对高反光无纹理这类特殊目标的三维重构，同时解决了无法仅从菲涅尔理论实现天顶角和折射率同步估计的问题，为三位重构提供了更大的平台和可能性，提高了这项技术的应用范围和应用价值。