基于消失点的相机自标定（2）

点云PCL免费知识星球，点云论文速读。

标题：Camera calibration using two or three vanishing points

作者：Radu Orghidan∗, Joaquim Salvi†, Mihaela Gordan∗ and Bogdan Orza∗

来源：分享者

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。

摘要

本文分两个篇幅，第一篇查看：基于消失点的相机自标定（1）

相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标定方法提供一个实用的工具。这里详细介绍了两种不同消失点的方法进行相机标定，并进行了比较。首先，利用合成数据对这两个模型进行了分析。最后，对每种方法进行了实际标定结果进行测试，结果证明了标定的质量。

主要内容

用两个VPs进行合成相机标定

使用两个VPs进行校准的合成设置如图3所示。放置在世界参考系中的共面点，使用理想相机模型进行投影。从得到的图像中，提取两个VP，如图4所示。当噪声级增加时，VPs开始从原来的位置移动。图5示出V1比V2更受噪声的影响，因为它位于距离图像中心更大的距离处

图3 实验装置   使用两个VPs校准相机机

图4 两个正交方向的VPs。

图5 噪声导致的VPs偏差。

用三个VPs进行合成相机标定

使用指向三维点云的虚拟相机形成的设置分析了三个VP的摄像机校准，如图6所示。三维点属于世界参考系中的两个正交平面，由模型相机成像后这三个VP是从图像中提取的，如图7所示。图像中心的位置也表示为由三个vp构成的三角形的正中心。由于平行线方程的变化和交点的变化，噪声水平会影响VPs。当处理三个VP时，它们的位置随距图像中心的距离成比例地变化，如图8所示。

图6 实验装置   使用两个VPs校准相机机

图7 三个正交方向的VPs和图像中心

图8 噪声导致的VPs偏差。

噪声鲁棒性分析

对两种校准方法的校准过程的输出进行了评估，并比较了误差随噪声的变化情况。图9示出了使用从噪声图像校准的两个照相机模型获得的投影误差。图10示出了内在参数的演变。外部参数也越来越偏离理想值，如图11所示。正如预期的那样，在所有情况下，误差都会随着噪声级的增大而增大。在一定的噪声水平下，两种校准方法都有相似的行为。然而，使用两个VPs的方法在高噪声下表现出更好的性能。这是因为校准平面之前已被选为12种可能配置中的最佳初始解决方案

图9 利用由噪声图像标定的相机模型的投影误差。

图10 基于噪声图像标定的摄像机模型的内参数估计误差。

图11 利用由噪声图像标定的摄像机模型估计外部参数的误差。

使用两个真实的VPs进行相机校准

2个VPs校准用一个真实的相机进行测试。根据图像分三步计算VPs的位置。首先，使用Bouguet[3]的相机校准工具箱的功能检测到图案的点，见图12。然后，将平行线拟合到VP方向上的点上。最后，利用奇异值分解法求解超定线性方程组，得到其最佳交点，如图13所示。相机使用标定板标定作为结构光重建手部实验的一部分，图14是重建后的手部模型证明结果是正确的。

图12  根据标定棋盘格提取的角点

图13  平面标定板中的VPs检测

图14 使用结构光系统进行手部重建。

使用三个真实的VPs进行相机校准

使用三个VPs进行相机校准被应用于使用Google SketchUp重建三维立方体。拍摄了两张立方体的图像，见图15，使用立方体产生的三个消失点计算相机的参数和相对于世界的位置。利用对应关系和摄像机模型，对两幅图像进行物体重建，并对纹理进行相应的映射，如图16所示

一个立方体的两个图像，呈现三个消失点

用三个VPs标定相机并从两幅图像重建立方体

总结

本文详细介绍了两种基于消失点的摄像机标定方法，并对它们进行了标准化的数学形式化描述。我们的目标是分析这些方法的性能，并强调它们的优缺点。就校准设置的复杂性而言，仅使用两个VP的方法显然更易于使用，因为我们只需要一个能够在正交方向上产生两个VP的简单平面图案。但是，相机必须小心地相对于校准模式定向，以避免在无穷远处获得VPs。此外，在定义世界参考系时必须特别小心，因为两个VP可以沿任意两个轴放置。因此，这种校准方法更适用于控制配置，在这种配置中，可以对摄像机相对于世界的方向有很好的初始估计。关于对噪声的鲁棒性，在完全控制的仿真条件下，这两种方法具有相似的性能，达到了合理的噪声水平，由于更严格的初始约束，两种VPs方法的性能稍好一些。选择一种方法而不是另一种方法的一个原因是从可能的应用程序的角度出发。有时在场景中不可能有一个完全确定的三维结构，二维平面可以更容易地找到。另一方面，如果可以确定一个三维结构，我们可以受益于更稳健的校准，因此，结果模型更准确。

参考文献

向上滑动阅览

 [1] Paul Beardsley and David Murray. Camera calibration using vanishing points. The British Machine Vision Conference (BMVC), pages 416–425, 1992.

 [2] Michael Bosse, Richard Rikoski, John Leonard, and Seth Teller. Vanishing points and three-dimensional lines from omni-directional video. The Visual Computer, 19:417–430, 2003.

[3] J. Bouguet. Camera calibration toolbox for matlab, 2004.

[4] B. Caprile and V. Torre. Using vanishing points for camera calibration. Int. J. Computer Vision, 4(2):127–140, 1990.

[5] X. Chen, J. Davis, and P. Slusallek. Wide area camera calibration using virtual calibration object. Proc. CVPR 00, pages 2520–2527, 2000.

[6] R. Cipolla, T. Drummond, and D. Robertson. Camera calibration from vanishing points in images of architectural scenes. BMVC99, pages 382–391, 1999.

[7] Guillou E., Meneveaux D., Maisel E., and Bouatouch K. Using vanishing points for camera calibration and coarse 3d reconstruction from a single image. The Visual Computer, 16:396–410, 2000. [8] Hall E.L., Tio J.B.K., McPherson C.A., and F.A. Sadjadi. Measuring curved surfaces for robot vision,. Computer, 15:42, 1982.

[9] O. D. Faugeras and G. Toscani. The calibration problem for stereo. Proceedings of IEEE Computer Vision and Pattern Recognition, pages 15–20, 1986.

[10] L. Grammatikopoulos, G. Karras, and E. Petsa. Camera calibration combining images with two vanishing points. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences., 35(5):99–104, 2004.

[11] R. Hartley and R. Kaucic. Sensitivity of calibration to principal point position. pages 433–446, 2002.

[12] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision – 2nd Edition. Cambridge University Press, 2004.

[13] B.W. He and Y.F. Li. A novel method for camera calibration using vanishing points. 14th International Conference on Mechatronics and Machine Vision in Practice, pages 44 – 47, 2007.

[14] J. Heikkila and O. Silven. A four-step camera calibration procedure with implicit image correction. CVPR, page 1106ij1112, 1997.

[15] J. Kogecka and W. Zhang. Effcient computation of vanishing points. IEEE International Conference on Robotics and Automation, 1:223–228, 2002.

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

点云PCL更多活动请查看：点云PCL活动之应届生校招群

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：群主微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶