Halcon 光度立体法（photometric_stereo）详解

photometric_stereo

通过在项目中应用摸索算子的特性，对光度立体法有了进一步认识。基于此重新理解文档，希望文章能够帮助有疑惑的同志，同时也期望看到博客的同志如果有更深的理解以及应用技巧，共享与大家共同交流进步。另外，后续抽空用例子来解释原理。

原型

photometric_stereo(Images : HeightField, Gradient, Albedo : Slants, Tilts, ResultType, ReconstructionMethod, GenParamName, GenParamValue : )

功能

根据光度立体技术重建图像。

参数列表

Images (input_object) ：输入图像（一个至少包含3张图像（每张图像光照角度不同）的图像数组）
HeightField (output_object) ：根据多个图像重构的高度信息图
Gradient (output_object) ：根据多个图像重构的梯度信息图
Albedo (output_object) ：根据多个图像重构的反射率信息图
Slants (input_control) ：文中详细说明
Tilts (input_control) ：文中详细说明
ResultType (input_control) ：文中说明
ReconstructionMethod (input_control) ：文中说明
GenParamName (input_control) ：文中说明
GenParamValue (input_control) ：文中说明

详解

光度立体法可以根据二维纹理信息提取出三维模型。photometric_stereo算子至少需要三张图，这些图是在相机和物体相对位置不变条件下（Note），通过不同方向打光获取的。
物体的三维模型主要是根据三维表面的局部梯度计算提取的。三维表面的局部梯度信息可以进一步整合获得高度信息图，灰度值与高度值一一对应。二维纹理被称为反照率，它对应于物体表面局部光吸收和反射特性，被遮挡的部分没有此特性。

光度立体法的典型应用
光度立体法的典型应用是检测物体表面微小变化，例如，受打光方向影响的缺陷。比如非平面的打印检测（个人理解：普通打光方式受光线影响特征成像不理想，可以通过光度立体法检测）。值得注意的是：光度立体法不适用于绝对高度的重建，也就是说，它不能替代传统的3D重建算法，如对焦测距和激光三角测量。

光度立体法的局限性
光度立体法基于Woodham算法。因此，一方面假定相机是无畸变成像，也就是说必须使用远心镜头或者长焦镜头。另一方面假定每一个光源发射的光束都是平行且均匀的，也就是说必须使用具有均匀强度的远心照明光源，或者使用远距离的点光源代替。此外，物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。有镜面反射的物体或者区域（镜子或者光滑的表面）不能使用此方法，会得到一个错误的结果。

采集图像设置
带有远心镜头的相机必须与被测物体表面垂直安装，在采集多幅图像时，一定要保证相机和物体不被移动。相反，对于采集至少三张的灰度图像，其每次取像的照明方向必须改变（相对于相机）。

光照方向说明
对于采集的多张图像中的每一幅图，照明方向必须指定Slants和Tilts两个参数角度，其描述了相对于当前场景的光照角度。为了更好的理解这两个参数含义，我们假定光源射出的光束是平行光，镜头是远心镜头，相机垂直于物体表面。

Slants

Tilts

正常情况下一般都是至少采集三张不同方向打光的图。但对于一些特殊的产品，因为阴影的原因，三个方向打光不能很好的表征缺陷特征，造成重建的图像特征不明显，这个时候就需要在原来基础上增加打光方向，避免死角。随着打光方向增加采集图像也跟着增加，那么算法处理时间也变长。根据经验：（1）、4-6个不同方向打光能满足大部分应用；（2）、Slant角度一般选择30度-60度；（3）、Tilt角度通常都是均匀分布在被测物体周围，比如3个方向打光，Tilt角度应该是[0,120,240]OR[0,120,-120]，4个方向打光是[0,90,180,-90]。需要注意的是，打光方向不能相同，否则重构的图像结果达不到预期效果。

输入图像和定义区域
输入图像是一个图像数组，其中每张图像都是在不同打光方向下采集的。如果采集的是多通道图像，可以通过算子 image_to_channels转换成单通道图像采集的多张图像可以通过算子concat_obj合并成一个数组图像。

光度立体法依托于对光度信息的评估，也就是图像中的灰度值。因此，图像质量的好坏决定了结果。要保证好的图像质量，首先要确保相机采集的图像具有线性特征，可以使用算子radiometric_self_calibration确认相机特性，如果相机采集的图像是非线性的，可以利用算子 lut_trans 矫正灰度信息。此外，如果需要更高精度，可以从以下两点着手：（1）、使用相机的全部动态范围；（2）、使用高于8位深度的图像（灰度范围0-65535而不是0-255类型的图像）
输入图像的定义域决定了使用哪种内部算法处理图像，有三种可用的算法：

1、如果输入图像为全局定义域，那么将会利用最快的算法处理图像。对于大多数应用都采用这种方式。

2、如果输入图像都是同一个缩小的区域，只需要处理区域内的灰度值，其他区域不处理。通常要处理区域指排除了不具有朗伯反射特性以及不感兴趣区域，比如物体表面上的孔洞。

3、以上两种方式每张图像的定义域都是相同的，而这种是每一张图像的定义域都是独立、不同的。为了提高精度，对于每张独立的图像，定义域都排除了不具有朗伯反射特性以及不感兴趣区域。但这样的代价就是需要更多的处理时间。

输出图像
算子输出重建后的梯度、反射率、以及高度场图像。
1、梯度图（矢量场）是根据对图像求偏导数获取，它可以作为算子reconstruct_height_field_from_gradient的输入。
为了视觉观看更直观，将表面梯度进行归一化处理。因此ResultType类型需要设置成“normalized_gradient”，而不是“gradient”。如果ResultType设置成默认模式“all”，处理方式是“gradient”，而不是“normalized_gradient”，所以在参数设置时要根据需要设置。

2、Albedo 图像描述的是物体的反射率，其值介于0（黑色）-1（白色）之间。因此，Albedo反应了物体表面特性。比如对于印刷表面表面，Albedo反应的是表面明暗程度的特性。HeightField 图像中每个像素值以某种关系与其高度一一对应。
默认情况下，ResultType设置成“all”。假如在应用中仅仅需要部分结果，可以通过数组的形式在‘gradient’, ‘albedo’, and ‘height_field’中选择设置ResultType参数，例如ResultType := [‘gradient’,‘albedo’]。对于特定的表面检测应用，如果只需要‘gradient’, ‘albedo’，那么将ResultType设置成‘gradient’, 'albedo’不进行三维重构（‘height_field’），
处理速度将会有效提升。

3、photometric_stereo算子首先会计算出梯度矢量场，如果需要高度场，光度立体法内部会采用reconstruct_height_field_from_gradient算子进行整合处理，通过 ReconstructionMethod, GenParamName, and GenParamValue这三个参数控制效果。如果参数ResultType参数中没有设置‘height_field’，可以忽略这三个参数。