Halcon Solution Guide 3-C 3D Vision 学习总结（1）

1、运用3D视觉需要哪些基础知识

    首先，相机标定是最基本的，不复杂，几行代码搞定。你可以利用相机标定，将图像处理的结果转换成三维信息。第三章将展示如何用单个相机在特定平面上完成一个普通的3D视觉任务。还有怎么去矫正图像，让图像好像是从一个没有畸变，垂直与物体的相机里拍出来的一样。建议先看第二章和第三章，再根据手头的任务，选择相关的章节找到特定的方法进行学习。

2、怎么得到物体的3D位置的姿态

• 根据对应点对一已知三维物体进行位姿估计。需要一个相机标定板，三维物体上至少有三个点，其在世界坐标系的坐标是已知的。先找到标定板在相机所标定的空间的坐标，再将标定板的位置设为世界坐标系的原点，然后利用三点和在图像上的位置，得到物体在相机空间的位姿，最后通过坐标系变换，得到物体在世界坐标系的位姿。参考例程solution_guide\3d_vision\
  pose_of_known_3d_object.hdev，章节4.1。这种方法也叫“mono 3D”。
• Halcon的3D匹配，是基于3D模型去寻找3D物体。3D模型必须先提供好，可用的方法有基于形状的3D匹配（章节4.2）和基于表面的3D匹配（章节4.3）。前者是从2D图像上寻找3D模型，后者是从点云数据里寻找模型，点云数据可以通过3D重构获得，例如立体光影技术。注意，基于表面匹配也称作“体积匹配”，只依赖于物体表面的点云。
• Halcon的3D几何拟合（章节4.5），可以拟合3D形状几何元素，例如圆柱体，球体，或者平面到3D场景中，即，成为可用作3D对象模型的一组3D点，可通过3D重建方法获得，例如立体声或光片。
• 校准的透视匹配基于2D模型在图像中定位透视变形的平面对象。 特别是，它会自动搜索与搜索图像中的2D模型相对应的对象，并确定它们的3D姿势。 该模型通常从代表性模型图像获得。 可用的方法是校准的透视可变形匹配（第112页的第4.6节），它通过轮廓和基于校准的描述符匹配（第112页的第4.7节）描述模型，该匹配通过一组被称为“”的特征点来描述模型“ 兴趣点“。
• 圆形姿态估计（第113页的第4.8节）和矩形姿态估计（第114页的第4.9节）使用圆和矩形的透视变形来以相当方便的方式确定包含圆和/或矩形的平面对象的姿势。

3、怎么检测3D物体

 如果在指定平面中进行检查就足够了，您可以使用相机校准联合2D检查，如第57页第3章所述；

如果需要物体的3D表面或检查不能缩小到可以在一个指定的平面上，你可以使用3D重建联合3D检查。 即，使用点，表面或者高度信息，进行3D重建，得到一个3D物体，然后检查物体，例如，将其与参考点，曲面或高度进行比较。

如下是介绍3D位置识别和3D检测方法的概览图，3D物体模型的介绍参见章节2.3。

4、如何重构一个三维物体

• HALCON的立体视觉功能（第115页的第5章）允许基于从不同视角适当采集的两个（双目立体声）或更多（多视图立体声）图像来确定物体表面上任何点的3D坐标（ 通常由单独的相机）。 使用多视图立体声，您可以在全3D中重建3D对象，特别是，您可以从不同侧面重建它。
• 使用光片进行激光三角测量（第145页的第6章）可以获得物体的高度轮廓。请注意，除了单个相机外，还有其他硬件，特别是激光线投影仪和相对于物体移动物体的单元。 需要相机和激光。
• 使用焦距深度（DFF）（第161页的第7章），可以使用由单个远心相机获取但位于不同焦点位置的图像来获得高度轮廓。 为了改变焦点位置，需要额外的硬件，如平移台或线性压电平台。 请注意，根据修改焦点位置的方向，结果对应于高度图像或距离图像。 高度图像包含特定对象或测量平面与对象点之间的距离，而距离图像通常包含相机与对象点之间的距离。 两者都可以称为深度图像或“Z图像”。
• 使用光度立体（参考手册，“3D重建。光度立体”一章），可以使用由单个远心相机获取的图像获得高度图像，但至少有三个不同的远心照明光源，与摄像机的空间关系必须与 知道。 注意，高度图像仅反映相对高度，即，利用光度立体声，没有校准的3D重建是可能的。
• 除了HALCON提供的3D重建方法，您还可以通过特定的3D传感器获取3D信息，如飞行时间（TOF）相机或使用结构光的特定设置。 这些相机通常经过校准并返回X，Y和Z图像。
• 不同3D重构方法的特性对比

三维重构方法	硬件需求	物体尺寸	能得到的结果
多目立体视觉	多相机，标定物	>10cm	3D物体模型或者三维坐标
双目视觉	两个相机，标定物	>10cm	三维坐标，视差图像，深度图像
片光技术	相机，激光线投影仪，单位移动物体，标定物	物体一定要拟合移动单位	深度图像
光度立体技术	远心相机，至少三个方向远心光源	由远心镜头的视野限制	深度图像
DFF技术	远心相机，改变焦点位置的硬件	<2cm	深度图像
3D传感器	特殊相机例如标定的TOF	30cm至5m	X，Y，Z三个方向的图像

5、如何拓展3D视觉到机器视觉

3D视觉的一个典型应用领域就是机器视觉，你必须执行一个额外的标定——手眼标定。（章节8）

6、还可能应用在哪里

拼图（章节9）

如果图像变形，即不是透视变形，也不是镜头畸变导致的，在一个凹凸不平的表面，网格纠正就可以用的到了（章节11）