姓名：王天宇
学号：20181213976
学院：物理与光电工程学院
【嵌牛导读】
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、软件算法研究与嵌入式系统设计领域的共性问题和核心技术。
【嵌牛鼻子】
融合粗糙深度信息的低纹理物体偏振三维重建方法
【嵌牛提问】
如何应对低纹理、高反光目标在重建过程中的数据丢失、重建完成率低等问题？
【嵌牛内容】
在三维重建的实际应用中，低纹理乃至无纹理、表面光滑且有高反光的物体出现的频率十分之高，这对依赖于物体表面的纹理特征进行识别的三维重建工作带来了重重阻力。传统的三维重建算法在针对此类物体进行重构时会出现大面积的数据缺失，无法获得完整的表面，即便是基于结构光的重建算法在遇到大面积耀光时也无法得到精确的深度信息。
从物体表面反射光获得的偏振信息对重建物体的形状信息很有帮助。考虑到偏振光“弱光强化，强光弱化”的特性，使得利用偏振信息可以极大减小外界光源的影响，进一步重建目标表面。并且偏振信息也不依赖于物体的纹理特征，同时对耀光也有很好的抑制，对上述提到的低纹理、表面光滑且有高反光的目标而言正是很好的三维重建方法。
然而单纯利用偏振信息进行三维重建也存在一些问题，如方位角歧义问题、偏振图像无法避免的图像噪声问题以及在未知初始边界的条件下产生的曲面初始偏差问题。
晏磊等人于2019年提出了融合粗糙深度信息的低纹理物体偏振三维重建技术。针对偏振重建时存在的方位角歧义，晏磊等人先利用边缘传播算法进行了粗校正，再通过比对粗糙深度图的方位角偏差，重新对偏振信息获取的方位角进行估计。最后采用融合深度图的表面三维重建算法，重建出高精度的物体表面。
针对偏振三维重建时存在的问题，晏磊等人的工作可以用如图所示的流程来表示。
首先利用偏振相机获得的偏振图像与深度相机获得的粗糙深度图匹配，得到目标物的粗糙法向量及深度图。晏磊等人使用了深圳奥比中光科技有限公司开发的Astra的3D相机来获取粗糙深度先验信息。Astra相机采用红外散斑结构光的方式来获取景深，由于深度相机视场较大且有拍摄距离的限制，因此无法获取近距离高密度的三维点云数据，只能得到粗糙的目标表面。偏振图像的获取方面，晏磊等人采用了Lucid
Phoenix系列偏振相机，该种相机采用覆盖防反射材料来抑制闪光和重影的气隙纳米线栅作为线偏振阵列层，偏振片以四个角度放置在单个像元上，每四个像元一组作为一个计算单元。为了将Lucid偏振相机获得的偏振图像与Astra深度相机获得的粗糙深度图精确配准，还需要进行相机的标定，从而获取相机的内外参。
随后利用粗糙深度图求得的目标法向量来纠正偏振图像获得的偏振方位角，得到准确的目标物表面法向量的方位角。对于方位角歧义问题，作者采用边缘传播算法获得初步的纠正结果，边缘传播算法假定物体表面整体遵循圆周的周期变化，由此预估图像四周的方位角分布如图所示。
从外围选取种子点向里迭代，当所在点的方位角处于该区域给定的方位角范围内时，则认定为准确值，否则利用邻近点插值代替。
最后利用已纠正的偏振法向量与粗糙深度图积分融合，获得更高精度的物体三维表面。针对偏振三维重建存在的方位角歧义问题、噪声对法向量积分的误差影响和获得曲面的初始偏差问题，晏磊等人利用粗糙的物体深度图融合了两种图像信息，使获得的物体三维表面既有粗糙深度图的大体轮廓，又有偏振获得的详细信息。
晏磊等人针对低纹理乃至无纹理的目标物，选用了有合成树脂光滑表面的桌球，陶瓷磨砂表面的杯子，陶瓷光滑表面的两个不同形状的花瓶作为验证，同时将扫描仪扫描获得的结果作为真实值来评估实验结果的准确性。
对获得的偏振信息进行处理后可以得到物体表面法向量，而法向量的重建过程与积分算法息息相关，因此通常将法向量的结果图作为评定算法的依据。图中第一列为实物图，第二列为由扫描仪获得的结果作为真值，第三列为实验算法对偏振获得的方位角去奇异处理后的结果，第四五六列为基于其它算法得到的结果。结果与真值的误差用MAE（Mean Absolute Error）表示，即真值法向量与求解法向量之间夹角绝对值的平均值，单位为度。从结果来看，在物体垂直观测视角的切面上，磨砂、光滑的表面均存在明显的噪声，这是由于这些区域的偏振度较小，相较而言，噪声的影响更明显。与其它算法的结果做对比，此种算法有着对真值较为接近的处理结果。
下图为物体表面重建的结果图。图中第一列为将扫描仪获得的结果图作为真值；第二列为用Astra相机获得的粗糙深度图；第三列为多视角处理的结果：利用商业软件AgisoftPhotoScan处理同一物体多张影像，配准图像并生成密集点云；第四列为融合深度图的重建结果，即这种方法重建的最终结果；第五、六列为其它算法作为参考。结果误差用MAE表示重建点深度与真实点深度误差绝对值的平均值，单位为mm。由于积分算法在未设定边界初始值时，重建结果会存在一定初始的偏差，可能影响MAE的评判结果，因此引入了相关系数r来辅助评判结果与真实值的相似程度。MAE越高说明结果整体与真值相差较大，r越高说明重建形状与真值越接近。可以看出，对于低纹理的物体，多视角三维重建无法生成准确且足够密集的目标点云。因为多视角三维重建依赖于目标的纹理特征，无法在低纹理目标上提取足够的特征点。而其它算法的重建结果对噪声较为敏感，且存在不同程度的畸变。
以粗糙深度图作为先验信息可以有效解决偏振三位重建中的一些问题，对于方位角歧义问题，噪声问题和重建初始偏差等问题，都有较好的改善效果。晏磊等人采用的融合深度图的方法依赖于偏振信息来获取物体立体纹理信息，可以较好地处理表面光滑，纹理特征不明显的物体，最终可以获得精度较高的物体三维表面。