车载全景可视系统surroundview

技术方案有哪些?

全景可视系统,也又称全景泊车等等,市面已经有产品出现,各家的方案看起来又不一样。

对全景,飞思卡尔freescale、富士通fujitsu拥有比较完整的解决方案,但也有其他公司推出自己的产品,但芯片都基本选用飞思卡尔或富士通的。

从用户角度来说,全景有以下几个分类:

图像是否有拼接? 支持哪些视角功能(广角或俯视)?是否有3D模型?


0. 几个摄像头?

目前主流是四个摄像头,采用180度以上的广角摄像头,如190度;

也有采用更多摄像头的,如6个。


1. 摄像头的种类

CCD: 优点是灵敏度高,噪音小,信噪比大。但是生产工艺复杂、成本高、功耗高。

CMOS : 优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低、对光源要求高。

在采用CMOS为感光元器件的产品中,通过采用影像光源自动增益补强技术,自动亮度、白平衡控制技术,色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术,完全可以达到与CCD摄像头相媲美的效果. 

由于成本原因,车载摄像头普遍选用cmos摄像头传感器。


摄像头的分辨率:一般车道检测的摄像头30万像素就能满足需求。但用于全景的摄像头会采用更高分辨率。


2. 摄像头的安装位置

前视摄像头位置,一般在车标附近的位置;左右摄像头一般放在倒车镜附近;后视摄像头会放在车牌上方的位置。四个摄像头的水平位置基本相同。

另外,根据不同的车型,摄像头的安装位置和高度也不同。

3. 摄像头的标定

全景摄像头的标定一般是指针对外参进行标定,得到摄像头的安装高度、安装方位角度。

而摄像头的内参在出厂时,就能拿到其参数。


在获取摄像头的内外参之后,就可以对四个摄像头的数据进行融合或拼接。

目前,市面上的产品很多都是做到标定后,直接拼接融合就完事了。


标定方法:

张正友平板标定法是介于传统标定和自动标定之间的方法。既结合了图像检测的方法,但又需要人工确定(校正)物理模板点与图像中检测点的对应关系。形成超定方程,并求解出较好的结果。

其不足是,手动调整角点顺序比较繁琐,易出错。


自动标定方法,是采用特征点跟踪轨迹的方式,根据多幅图像的对应关系进行标定,更加灵活。但其为非线性标定,鲁棒性不高。


4. 图像的拼接

一般单纯使用标定后的摄像头进行 全景图像的拼接和融合时,在交合重叠区域,会产生盲点的现象,如经过的物体在这个很小的区域会模糊不清或消失。

这是因为物距的改变,会产生较大的拼接区域误差。


什么是景深现象?

当镜头聚焦于某一物体时,在这一物体前后一定范围内,景物记录的比较清晰,而超出这个范围,物体就显得不清晰了。这个就景深原理。决定景深的因素包括:光圈(进入镜头的光线的粗细)、焦距、物距。

光圈越小,景深越大,拍摄清晰的前后范围越大。而广角镜头的景深是比较大的。景深的位置、范围会随焦距的不同而变化,鱼眼相机需要采用比较大F值,才能获取较大的景深。


图像配准的常见方法及优缺点:

1) 基于区域的方法

    a) 像素点的直接的相关性,外加金字塔的多分辨率。 计算量较大,而且对旋转和缩放效果有一定影响。

    b)基于频域FFT变换的方法。 在空间频域中寻找相关性,计算快,对小平移、旋转及尺度变换的图像拼接较合适,但对重叠区域较小的情况较差。

2)基于特征的方法

    a)经典的方法,如基于轮廓、角点检测算法。harris角点。

    b)尺度不变特征的SIFT算法,及其改进算法。配准精度高,但速度慢,且原始算法未公开,版权保护。

    c)SURF配准算法。配准精度高,略逊于SIFT,但速度快。


对于鱼眼相机的配准,一般需要:

1)畸变校正。4个相机都是190或180左右的视角的情况,畸变校正后,即使损失一部分边缘图像,仍然会有一部分图像重合。

2)配准。如果有相机内外参的先验知识的情况下,配准,可以采用基于改进的区域配准方法,效果好,且速度快。 基于特征的方法也可以尝试。

3)融合或拼接。直接采用拼接的方式,或采用图像叠加融合的方式,或增强边缘的方式,或用小波等等。


采用配准方式进行拼接和融合的产品,效果会好很多。


由于配准会比较耗费时间,而配准的区域可能又不断变化,所以,配准过程不必对拍摄的每幅图像都进行。


5. 摄像头视角如何变换?3D模型如何建立?

俯视图:每个摄像头都有内外参,所以,其俯视图也可以比较轻松的获取,然后进行拼接,得到车辆周围比较完整的俯视图。

俯视图,对于直立的物体会有很大的形变,看起来不舒服,一种改善的方法就是降低俯视虚拟相机的高度,这样直立物体的形变会减轻,但是对地面直线物体又会产生鱼眼式的形变,这个需要一个折中。

3D模型:其实,就是将几个鱼眼摄像头的坐标系统一转换到一个世界坐标系中,并建立一个碗状的三维虚拟成像面,最后建立三维模型。

富士通fujitsu的方案是比较成熟的。

查了一些资料,没有翻到其详细的算法过程,估计是预先建立一个3D的投射曲面,然后,将整个鱼眼相机拼接的图像投射到这个曲面上。这个过程可以使用查找表,能提高运算速度,简化运算过程。

这个过程需要结合摄像头的景深,内外参数,地面俯视等。


本文中,有些地方是猜测或看的资料不全,请大家指正。

你可能感兴趣的:(ADAS,图像处理)