图像处理--鱼眼图像

鱼眼镜头--最开始（1919）是源于摄影的需求--因为鱼眼图像存在几何畸变>>>鱼眼校正的需求

发展： 装满水的针孔摄像机>>>半球形玻璃>>>在半球形玻璃前增加一个负弯月形透镜（希尔天文物镜）

图1-3这种凸面镜可以将大范围的景物汇聚在一起，普通镜头只需拍摄由凸面镜汇聚起来的景物即可

优点：视角大，用于安防监视--降低成本（一个鱼眼镜头可以代替多个普通镜头）

对鱼眼图像去失真的过程称为鱼眼图像的校正，经过校正后一幅大视角的鱼眼图片可以转化为用若干幅普通图片来观看，这种图片从不同视角覆盖了鱼眼图片的视野，一般认为鱼眼图像只发生几何形变，不失真。

鱼眼校正---本质是图像处理的空间变换（几何变换，几何运算）>>>仅将图像上的点进行复制而不修改

            空间变换---看成是将图像点在图像内移动，即鱼眼图像上的点A(u,v)---->校正图像上的点A*(x,y）

向后映射（应用较多）---相似填充法---由校正图像的坐标经过映射变换求出对应的鱼眼图像坐标后，将鱼眼图像坐标处的图像分量复制到校正图像坐标处，由像素坐标点（校正图像）求亚像素坐标点（鱼眼图像）的图像分量

向前映射---由鱼眼图像坐标，经过映射变换得到校正图像坐标后，将鱼眼图像坐标的图像分量复制到校正图像坐标处  亚像素坐标点---->像素坐标点

 在数字图像的处理中，映射的输入都是像素坐标（整数坐标），输出为亚像素坐标（非整数坐标）

需要两个算法：一个是----定义空间变换的坐标映射关系（用来描述鱼眼图像上的每一个点映射到校正图像上的点，或反过来）；一个是----像素插值，因为变换前后图像的位置坐标一般不是整数向量，对于非整数坐标，必须用插值的方法来获得图像分量信息。

应用：群组可视会议、安防监控、智能交通、全景浏览、球面电影

鱼眼图像校正

-----本质是鱼眼镜头的光学成像模型------

    （R.W.Wood充水针孔摄像机）由入射角θ与深度求得r

只考虑径向畸变，切向畸变忽略

鱼眼校正模型就是反应鱼眼图像点与校正图像点或入射光线之间的关系的映射

镜头设计模型

--f 镜头的焦距； θ 入射角；r是鱼眼图像上，像点与镜头主轴之间的距离--

1. 等距投影模型

间距相同的 入射光线 其投影点的间距 也对应 相同；

-----对入射角没有限制，用来初步校正

2. 正交投影模型

畸变很大，180°周边及以后的情况无法描述，适用于广角摄影镜头

3.等立体角模型

相等立体角的入射面会产生相等面积的像；畸变程度介于等距模型与正交模型之间

4. 体视模型

畸变最小

5. 透视模型

  ----透视模型用来拍摄正常图像，即小孔成像

2D校正模型--将鱼眼图像平面映射到校正平面--建立的是r和ρ之间的关系，ρ是校正图像上的点与主轴的距离

优点：变换直接，在模型的表达式确定后，校正即可直接进行

缺点：仅能在鱼眼图像与校正图像之间直接映射，很明显的局限性，180°视角校正时已不能适用，只对中心区域图像的校正

3D校正模型---建立像高r和入射角θ之间关系，根据需要在空间中放置投影平面，由入射光线反投影到投影平面上获得校正图像

（多校正面投影）

---3D模型的基本形式

内容的校正 ----根据景物中的具体物体进行校正，对图像中的具体物体进行基于内容的校正----基于用户输入的校正系统>>>需要用户指出图片中可用来校正的信息，然后该系统就会根据用户提供的信息进行校正

模型约束-- -求解模型都需要一定的约束作为条件--约束建立了模型参数与鱼眼图片信息之间的联系>>>根据校正信息求出模型的参数----约束要有视角不变性

1.保线性约束 --保线性指景物中的直线在校正后仍为直线的约束--使鱼眼图像中主观的直线变为校正图像上的实际直线---对每条直线上的点列共线方程组

---->

2.极点约束---对同一景物的两个不同投影点，共三个点均在同一坐标系下

3.单应型约束 ---同一景物的两个不同投影点（x1,y1）,(x2,y2)有如下关系：H为单应形矩阵，

带参模型求解三要素----模型形式+模型约束+图像信息

先找一个较简单的接近实际的模型，对该模型求解；图像信息指的是拍摄图像中已知的信息。

拍摄标定板是一种有效获得已知数据的方法；识别出图案后，加上预知的图案的相对位置关系，软件就能够根据这些信息进行校正

鱼眼图像校正系统方案

HDTV@60fps精确校正

圆形鱼眼&对角鱼眼图像（圆形图像校正包含了对象图像的校正）

>>>圆形鱼眼图像是将所拍视野全部放入照片范围内的图像----对角鱼眼图像仅在照片的对角处达到了最大视野，是全部图像的一部分

鱼眼图像的校正瓶颈---1.坐标运算量较大带来的速度瓶颈。2.图像质量问题。由于校正图像在源图像上的不同位置的采样密度不同那么输出图像上的不同位置的图像质量不同。--所以采样密度大的位置，图像质量较好，采样密度小的位置反之。

坐标计算---利用模块计算图像坐标。---向后映射中，输入是校正图像坐标，输出是鱼眼图像坐标。

---向前映射中，输入输出相反。--坐标计算的结果特点：计算具有重复性，计算结果数据量较大。

重复性---当镜头安装好以后，鱼眼图像与校正平面相对位置关系不变的情况下，坐标计算过程与结果对于每一帧是完全一样的。

图像插值

-----由于计算出的鱼眼图像坐标 不是 整数坐标，故必须由插值算法 从周围像素信息中 恢复出坐标处的 分量信息。

常用的插值算法：1.邻近插值法---直接用离坐标处最近的点作为插值结果>>>改进：将邻近点进行细分，然后再进行邻近插值

2. 双线性插值法

----假设任意坐标的图像分量是周围像素分量的线性组合，线性加权系数与该坐标与附近像素点的垂直和水平距离成反比。

3. 双三次插值法

----高次插值法。 复杂度最高，插值效果最好。

插值子模块设计---接收到1组插值信息>>>插值坐标+其周围的四个像素点