基于全景图像与激光点云配准的彩色点云生成算法（2014年文章）

标题：The algorithm to generate color point-cloud with the registration between panoramic imageand laser point-cloud

作者：Fanyang ZENG, Ruofei ZHONG 

编译：点云PCL

来源: https://iopscience.iop.org/article/10.1088/1755-1315/17/1/012160

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

激光点云除了点云XYZ的信息只包含强度信息，需要从其他传感器获取颜色信息。相机可以提供相应对象的纹理、颜色和其他信息。利用数字图像中相应像素的颜色信息，可以生成彩色点云，有利于点云的可视化、分类和建模。不同的移动测量系统（MMS）使用不同类型的数码相机，不同系统产生彩色点云的原理和过程不尽相同。全景图像最突出的特点是视场在水平方向360度的视角，尽可能地获取相机周围的图像信息。本文介绍了一种利用全景图像和激光点云生成彩色点云的方法，根据三点（全向多相机系统的中心、球面上的像点、目标点）的共线原理，推导出全景图中点与激光点云的对应方程。实验结果表明，本文提出的算法和公式是正确的。

介绍

近年来，由激光扫描仪、POS和CCD相机组成的车载移动测量系统的研究取得了一定的成果。无需激光扫描系统获取带有颜色的稠密点云更精确、更直接，数码相机获取的图像可以提供丰富的颜色和纹理。因此，将点云与图像结合起来，可以更准确、更直观地描述地表特征。彩色点云是点云与图像数据融合的直观产物。它在视觉显示、分类和对象建模等方面具有很大的优势，不同类型的数码相机用于不同的移动测量系统（MMS），不同系统中产生彩色点云的原理和过程也不尽相同。

激光点云与数字图像融合的研究，根据摄像机的类型可分为三类。类型有平面阵列相机、线阵相机和全景相机。其中平面阵列相机与点云的融合是目前研究最多的问题。针对数据的不同特性，基于POS数据或两个数据源之间的特征匹配，实现激光点云数据与平面阵列相机图像的配准，与平面阵列相机相比，基于共线原理生成彩色点云，线阵相机具有宽视角和高采集频率，克服了在某些情况下不能及时存储图像和丢失图像的问题，但在标定和白平衡调整方面比较困难。对于全景图像，最突出的特点是水平方向360度的视场，尽可能获取相机周围的图像信息。三种不同的图像采集方法各有优缺点，应根据不同系统的不同需要进行选择。

加拿大Optech的Lynx移动地图机配备了2到4个平面阵列CCD摄像头。奥地利RIEGL公司的VMX-250配备了4或6个面阵CCD摄像机。日本Topcon公司的IP-S2系统采用 Ladybug3 全景摄像头。线阵CCD摄像机也可用于其它一些MMS。本文的实验平台是首都师范大学研制的车载激光扫描与建模测量系统。该系统主要由激光扫描仪、全景相机、GPS和IMU组成。激光扫描仪用于获取点云数据（图2）。数码相机用于获取彩色纹理。IMU和GPS提供系统在运动过程中的姿态和位置。所有设备固定在同一平台上，由GPS时间统一。通过实验场标定和一系列数据融合处理，激光点云与图像能够精确配准。本文中系统配备 Ladybug3 全景摄像头，直接获取全景图像（图3）。通过全景图像与激光点云的配准，可以得到图像中像素点与点云点之间的对应关系。本文在全景图像与点云配准的基础上，利用全向多相机系统的中心、球面上的像素点与目标点成直线的共线原理，介绍了一种由激光点云和全景图像生成彩色点云的方法。该方法充分利用了360度全景图像和激光点云。最后，实验结果表明本文提出的算法和公式是正确的。

具体实现

坐标系定义

大地坐标系S（Xt,Yt,Zt）：绝对坐标系，此坐标系中的所有数据通过该坐标系统一。

局部三维笛卡尔坐标系S1（X1,Y1,Z1）：系统原点位于当前全景相机球体的中心。我们可以通过将系统中的大地坐标系S的原点移到全景相机球的中心来得到新的坐标系S1。

全景三维笛卡尔坐标系S2（Xs，Ys，Zs）：系统原点也在当前全景相机的中心。Y轴指向前进方向，X轴指向车身右侧，Z轴垂直向上。

全景秋极坐标系P（B,L,R）：原点在全景球中心的极坐标系。

全景图像平面坐标系（o-xy）：以全景图像的主点为原点的笛卡尔坐标系。

生成彩色点云算法

点云数据中每个点的坐标都是绝对坐标，表示物体点的实际位置。根据共线原理，物体点、摄影中心和成像点是共线的。因此，我们可以根据对应的目标点的三维坐标来计算像素点的坐标，然后用像素点的RGB值来指定目标点。

第一步。坐标系转换从 S（Xt,Yt,Zt）到S1（X1,Y1,Z1），如公式1：

其中，（dX dY dZ）是当前全景球体中心的大地坐标（就是说把相机球体中心的大地位置，可以理解GPS和相机之间是有位移的，外参）

第二步。从S1（X1 Y1 Z1）到S2（Xs Ys Zs）的坐标变换，如公式2所示；

式中，（a1,a2,a3,b1,b2,b3,c1,c2,c3）为旋转矩阵的参数，由全景球的三个姿态角决定：φ（横滚角）、ω（俯仰角）、κ（航向角），公式3。(就是当前车辆的IMU的姿态？)

第三步。用S2中对应点的坐标（Xs Ys Zs）计算全景球内成像点的极坐标P（B L R），其中B和L的含义如图1所示，R为全景球的半径；

第四步。用极坐标（B L）计算对应像点的像面坐标（x y ）；

第五步。根据对应图像点的图像平面坐标（x y）计算像素的坐标（m,n）。步骤4和步骤5可表示为式6和式7；

其中，Width表示全景图像的宽度，Height表示全景图像的高度。

第六步。用像素的RGB值指定对象点，如公式8所示；

其中，RGB（Xs Ys Zs）表示点（Xs Ys Zs）的RGB值，N表示图像的序列号，RGB（m,n,N）表示像素(m,n)的RGB值

彩色点云的生成

本文的实验数据由点云数据、全景图像和图像相关信息文件三部分组成。图像的相关信息包括每个图像在拍照时刻的文件路径、位置、姿态和GPS时间。该系统中的点云数据是通过连续激光扫描获得的。数据格式为以下：x，y，z代表三维坐标，t代表每秒GPS周期。全景图像每5米采集一次。图像的格式是BMP或JPEG。生成彩色点云的第一步是读取这些数据。在本实验中，点云数据扫描线之间的距离约为0.2米（速度约为40公里/小时），而相邻两幅全景图像之间的距离为5米。全景图像中的某些物体被其他物体遮挡，在相邻的多幅全景图像中物体的可见度不同。基于以上原因，生成彩色点云的第二步是为每个点选择合适的全景图像。针对这些问题，本文提出了以下对策。首先，根据GPS时间或几何距离为每个点选择最近的全景图像。其次，分析点云在全景图像中的可见度，如果当前图像中的目标被遮挡，则选择相邻的全景图像对点进行着色。但在进一步的应用中，具体的程序还需要根据实际数据的特点和需要进行调整。第三步计算目标点对应的图像点的像素坐标，并将像素点的RGB值赋给目标点。对所有对象点执行相同的操作，直到生成颜色点云。

结果与分析

在本实验中，彩色点云的效果主要受以下因素的影响：点云的精度、图像的分辨率和几何失真程度、点云与图像的配准精度。本实验使用的激光扫描仪是国产的RANGLE-II型激光扫描仪，点云数据的相对测量精度优于1cm。Ladybug 3是实验中使用的全景相机，分辨率为2048×1024，在10米距离的误差为1厘米，在50米的误差为5厘米。当目标远离摄影中心时，一个像素可能对应多个相邻点，因此全景图像的分辨率越高，点云的颜色就越丰富，精度也就越高，可采用试验场定标法计算点云与图像的配准参数

本文所用的实验数据是由首都师范大学研制的车载激光扫描建模测量系统在广州某高架桥路段采集的。激光点云数据如图5所示，全景图如图6所示。通过本文提出的算法，自动生成图7所示的彩色点云。将彩色点云与原始图像进行比较，可以发现颜色完全一致，说明公式是正确的

对彩色点云数据的进一步分析表明，颜色对于点云的可视效果是非常好的。例如沿途的树木、房屋和路灯等（如图8所示）。即使当物体离摄影中心150米远时，效果还是不错的。但是，对于遮挡物和高层建筑顶部的物体，存在颜色混乱的问题。通过分析，其原因如下。首先，车辆位于高架桥上，路边护栏部分遮挡了全景摄像头的视线，使摄像头无法在较低位置获取图像。在下一步的工作中，将对遮挡处理策略和捕获路径进行优化。其次，本系统配备的全景摄像头存在一些问题。主要原因是相机的分辨率不够。瓢虫3的默认分辨率为2048×1024。摄影机的扭曲也会影响结果。未来，我们将开发一个由多个单反相机组成的高分辨率全向多摄像机系统，以取代现有的全景相机（ladybug 3），这将对实验效果的提高起到重要作用

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶