全景视频拼接的关键技术与步骤

全景视频拼接是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图。全景视频技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。全景拼接基本步骤主要包括：摄像机的标定、传感器图像畸变校正、图像的投影变换、全景视频拼接（融合），以及亮度与颜色的均衡处理等。

全景视频拼接的关键技术

北京智汇云舟科技有限公司成立于2012年，专注于创新性的“视频孪生（实时实景数字孪生）”技术研发与应用。公司依托自研三维地理信息引擎（3DGIS），融合建筑信息模型（BIM）、视频监控（Video）、人工智能（AI）及物联网（IOT）等多种技术，并在此基础上推出了“云舟披萨”低代码PaaS开发平台、实景孪生虚实融合一体机、行业解决方案等多个系列的产品。

全景视频拼接的关键技术

智汇云舟基于视频孪生（实时实景数字孪生）技术底座，可支持视频融合、“天空地海廊”五维一体数据承载、时空位置智能（LI）、云渲染等诸多独特能力。凭借领先的技术，持续助力各行业数字化转型，以及推动产业协作的数字化升级。公司先后参与了许多重点项目建设，应用领域涉及智慧城市、智慧园区、数字乡村、工业制造、轨道交通、军工、雪亮工程（平安城市）、司法监管、应急指挥、机场、学校、医院、水利、电力等全行业场景。

摄像机标定

由于安装设计以及摄像机之间的差异，会造成视频图像之间有缩放、倾斜、方位角差异，因此物理的差异需要预先校准，得到一致性好的图像，便于后续图像拼接。

图像坐标变换

全景视频拼接的关键技术

在实际应用中，全景视频的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。为了避免出现盲区，摄像机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。因而有必要在所有图像投影到某个平面之前，需要根据摄像头的位置信息和角度信息来获得坐标变换后的图像。

图像矫正

由于制造、安装、工艺等原因，镜头存在着各种畸变。为了提高摄像机拼接的精度，在进行视频拼接的时候必须考虑镜头的畸变。一般畸变分为内部畸变和外部畸变，内部畸变是由于摄像本身的构造原因产生的，外部畸变为投影方式的集合因素产生的。镜头畸变属于内部畸变，有镜头产生的畸变一般分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差，主要是由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。切向畸变通常被认为是由于镜头透镜组的光学中心不共线引起的，包括有各种生成误差和装配误差等。根据径向畸变产生的机理，对视频图像可通过电子放大的方式进行校正。

图像投影变换

由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。一般有平面投影、柱面投影、立方体投影和球面投影等。

全景视频拼接的关键技术

视频拼接融合

视频拼接的关键两步是：配准和融合。配准的目的是根据集合运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接视频。

在多路视频配准的过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿射模型和透视模型。

视频图像的平移模型是指图像仅在两维空间发生了方向和方向的位移，如果摄像机仅仅发生了平移运动，则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外可能发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放因子多缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运动时，可以采用相似性模型。

视频图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主要有平均值法、加权平均法和中值滤波法等。多分辨率技术主要有高斯金字塔、拉普拉金字塔、对比度金字塔等。

亮度与颜色的均衡处理

全景视频拼接的关键技术

因为相机和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现什么明暗交替，这样给观察造成极大的不便。亮度与颜色均衡处理，通常的处理方式是通过相机的光照模型，校正图像内部光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立直方图映射表，通过映射表通过表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。