鱼眼相机标定模型

Camera Calibration是计算Camera的extrinsic（外参）和 intrinsic（内参）的过程。一旦你标定完成了一个camera，你即可从2维图像中去恢复3维图像。你同样可以在在一个鱼眼相机中获得未失真的图像。

鱼眼相机可以被用于里程计（odometry）以及vslam（simultaneous localization and mapping）。其他应用中，有包括监控系统（surveillance system），GoPro，虚拟现实（VR）要求捕获360度视场角（fov），和一些拼接算法中。这些camera使用了一些列用了复杂的镜头扩大了相机相机的fov，使它能够捕获广阔的全景（panoramic）或者半球形（hemispherical）图像。但是，镜头是通过扭曲图像中的视线来实现这种超广角视角。

由于鱼眼镜头会产生极大的变形，因此针孔模型无法为鱼眼镜头建模。

鱼眼相机模型

为了将3维世界坐标系的点关联到2维图像坐标系中，必须获取相机的外部和固有参数。 使用外参将world Coordinate的点转换为Camera Coordinate的点。 使用内参将Camera Coordinat的点映射到Image Coordinate中。

外参

外参包含了旋转向量R和平移向量T。原始的camera coordinate的原点位于其光学中心以及它的x-axis和y-axis定义在其image plane。

从world coordinate 到 camera coordinate 的变换关系：

内参

对于鱼眼相机模型，内参包含了多项式映射系数的投影函数。相关的alignment系数，包括了传感器对齐以及从sensor plane到image plane的transformation。

• $（u,v）$ 是real-world 点的投影到image的理想点。
• $\lambda$ 是scalar因子
• $a_0,a_1,a_2,a_3,a_4$是投影函数的多项式的系数。
• $\rho$ 是 $（u,v）$ 的函数，并且仅取决于点到图像中心的距离：$\rho =\sqrt{u^2+v^2}$

内参还考虑了stretching和distortion。stretching矩阵补偿了sensors-to-lens的misalignment，distortion vector 是调整了image plane的$（0,0）$ 坐标。

以下等式将实际失真坐标 $\left(u^{\prime \prime },v^{\prime \prime }\right)$与理想失真坐标 $（u,v）$ 相关联。