相机内外参数以及畸变参数

关于大佬们的一些见解

下面是引用知乎的一段文字：
　　我们从单目视觉说起。平时我们都说要做视觉识别、测量云云，然后我们就会去拍照，再对数字图像做各种处理，颜色处理、灰度化、滤波、边缘检测、霍夫变换，最后得到了希望得到的特征，是这样的对吧？ 不过请注意！到了这一步，其实我们仅仅是得到了一坨坨感兴趣的像素而已！究竟要怎样才能把这些像素转化到现实世界的对象中呢？也就是说，究竟要怎样对这些仅存在于图像中的东西进行测量，才能得到具有实际意义和尺度的数据呢？这个时候我们就懵逼了…… 没错， 摄像机标定的存在意义就是解决这个蛋疼的问题！！！

我们继续看看，通过摄像机标定我们可以知道些什么:1.外参数矩阵。告诉你现实世界点(世界坐标)是怎样经过旋转和平移，然后落到另一个现实世界点(摄像机坐标)上。2.内参数矩阵。告诉你上述那个点在1的基础上，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点的。3.畸变矩阵。告诉你为什么上面那个像素点并没有落在理论计算该落在的位置上，还tm产生了一定的偏移和变形！！！
　　好了，到这里是不是明白了一点？上述3点的每一个转换，都有已经有成熟的数学描述，通过计算，我们完全可以精确地重现现实世界的任意一个点到其数字图像上对应像素点的投影过程。
　　对于双目视觉系统，通过立体标定还能进一步得到下面的参数: 4.结构参数。告诉你右摄像机是怎样相对于左摄像机经过旋转和平移达到现在的位置。

作者：陈明猷
链接：https://www.zhihu.com/question/29448299/answer/102658379
来源：知乎

详细公式：

https://www.cnblogs.com/wangguchangqing/p/8335131.html

内参

为什么叫内参呢，这个是因为这些参数是只有相机来决定的，不会因为外界环境而改变。
相机的内参是：1/dx、1/dy、r、u0、v0、f
opencv中的内参是4个，分别为fx、fy、u0、v0。其实opencv中的fx也就是F*Sx，其中F是焦距上面的f，Sx是像素/每毫米也就是上面的1/dx。
dx和dy表示x方向和y方向的一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键（我理解的是可以反映像元密度）。
u0，v0代表图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

外参

相机的外参是6个，三个轴的旋转参数分别是（w、δ、θ），把每个轴的33旋转矩阵进行组合（矩阵之间相乘），得到集合三个轴旋转信息的R，其大小还是33；T的三个轴的平移参数（Tx、Ty、Tz）。R、T组合成3*4的矩阵，其是转换到标定纸坐标的关键。

畸变参数

畸变参数是：k1，k2，k3径向畸变，p1，p2是切向畸变系数。径向畸变发生在相机坐标系转像物理坐标系的过程中。
切向畸变：产生的原因是透镜不完全平行于图像。

相机标定

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。
　　求解参数的过程就称之为摄像机标定。
标定的意思：在图像测量或者机器视觉应用中，摄像机参数的标定都是非常关键的环节，标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。
　　　
什么是线性和非线性呢，考虑到畸变的就是非线性的。

线性标定方法

线性标定方法数学公式：
　　这种标定是没有考虑到相机畸变的非线性问题，意思是这种标定是在不考虑相机畸变的情况下使用。
　　

线性标定方法

2.非线性标定方法：

当镜头畸变明显时必须引入畸变模型，将线性标定模型转化为非线性标定模型，

通过非线性优化的方法求解相机参数。

张正友标定法

此处“张正友标定”又称“张氏标定”，是指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法。张氏标定法已经作为工具箱或封装好的函数被广泛应用。张氏标定的原文为“A Flexible New Technique forCamera Calibration”。（https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr98-71.pdf）此文中所提到的方法，为相机标定提供了很大便利，并且具有很高的精度。从此标定可以不需要特殊的标定物，只需要一张打印出来的棋盘格。So great! 这样的方法让人肃然起敬。
（参考：http://blog.csdn.net/pinbodexiaozhu/article/details/43373247）

标定平面到图像平面的单应性

因为张氏标定是一种基于平面棋盘格的标定，所以想要搞懂张氏标定，首先应该从两个平面的单应性(homography)映射开始着手。
　　单应性(homography)：在计算机视觉中被定义为一个平面到另一个平面的投影映射。首先看一下，图像平面与标定物棋盘格平面的单应性。
　　首先放一个关于摄像机模型的公式：
　　　　　
　　其中m的齐次坐标表示图像平面的像素坐标(u,v,1)，M的齐次坐标表示世界坐标系的坐标点(X,Y,Z,1)。R表示旋转矩阵、t表示平移矩阵、S表示尺度因子。
　　A表示摄像机的内参数,具体表达式如下：
　　　　
　　α=f/dx，β=f/dy,因为像素不是规规矩矩的正方形，γ代表像素点在x,y方向上尺度的偏差。
　　这里还有一个“梗儿”，就是S。它只是为了方便运算，对于齐次坐标，尺度因子不会改变坐标值的。

因为标定物是平面，所以我们可以把世界坐标系构造在Z=0的平面上。然后进行单应性计算。令Z=0可以将上式转换为如下形式：
　　　　
　　既然，此变化属于单应性变化。那么我们可以给A[r1 r2 t]一个名字：单应性矩阵。并记H= A[r1 r2 t]。
　　那么现在就有：
　　　　
　　H是一个三3*3的矩阵，并且有一个元素是作为齐次坐标。因此，H有8个未知量待解。
(x,y)作为标定物的坐标，可以由设计者人为控制，是已知量。(u,v)是像素坐标，我们可以直接通过摄像机获得。对于一组对应的(x,y)-à(u,v)我们可以获得两组方程。
　　现在有8个未知量需要求解，所以我们至少需要八个方程。所以需要四个对应点。四点即可算出，图像平面到世界平面的单应性矩阵H。
　　这也是张氏标定采用四个角点的棋盘格作为标定物的一个原因。
　　在这里，我们可以将单应性矩阵写成三个列向量的形式，即：
　　

标定平面到图像平面的单应性

从上面可知，应用4个点我们可以获得单应性矩阵H。但是，H是内参阵和外参阵的合体。我们想要最终分别获得内参和外参。所以需要想个办法，先把内参求出来。然后外参也就随之解出了。我们可以仔细的“观摩”一下下面的式子。（下面这个式子总感觉是一个自己造出来的一个式子，不是由于透视原理直接得出的）

　　1、r1,r2正交 得：r1r2=0。这个很容易理解，因为r1,r2分别是绕x,y轴旋转的。应用高中立体几何中的两垂直平面上（两个旋转向量分别位于y-z和x-z平面）直线的垂直关系即可轻松推出。
　　2、旋转向量的模为1，即|r1|=|r2|=1。这个也很容易理解，因为旋转不改变尺度嘛。如果不信可以回到上一篇博客，找到个方向的旋转矩阵化行列式算一下。
　　 通过上面的式子可以将r1,r2代换为h1,h2与A的组合进行表达。即 r1=h1A-1，r2=h2A-1.根据两约束条件，可以得到下面两个式子：

大家从上面两个式子是不是看出一点端倪了。式子中，h1,h2是通过单应性求解出来的那么未知量就仅仅剩下，内参矩阵A了。内参阵A包含5个参数：α，β，u0，v0，γ。那么如果我们想完全解出这五个未知量，则需要3个单应性矩阵。3个单应性矩阵在2个约束下可以产生6个方程。这样可以解出全部的五个内参了。大家想一下，我们怎样才能获得三个不同的单应性矩阵呢？答案就是，用三幅标定物平面的照片。我们可以通过改变摄像机与标定板间的相对位置来获得三张不同的照片。（当然也可以用两张照片，但这样的话就要舍弃掉一个内参了γ=0）
　　到这里，大家应该就明白我们在张氏标定法时为什么要不断变换标定板的方位了吧。当然这只是一个原因。第二个原因，玉米会在讲极大似然时讲到。

下面在对我们得到的方程做一些数学上的变化，这些变化都是简单的运算变化了，相信大家动动笔，一算就可以算出。这些变化都是为了运算方便的，所以也没什么物理意义。
　　首先令：
　　

　　接下来在做一步纯数学化简：
　　

　　利用约束条件可以得到下面，方程组：
　　
　　 这个方程组的本质和前面那两个用h和A组成的约束条件方程组是一样的。在此重复一遍解释：如果我们想完全解出这五个未知量，则需要3个单应性矩阵。3个单应性矩阵在2个约束下可以产生6个方程。这样可以解出全部的五个内参了。大家想一下，我们怎样才能获得三个不同的单应性矩阵呢？答案就是，用三幅标定物平面的照片。我们可以通过改变摄像机与标定板间的相对位置来获得三张不同的照片。（当然也可以用两张照片，但这样的话就要舍弃掉一个内参了γ=0）
　　 通过至少含一个棋盘格的三幅图像，应用上述公式我们就可以估算出B了。得到B后，我们通过cholesky分解 ，就可以轻松地得到摄像机的内参阵A。

基于内参阵估算外参阵

通过上面的运算，我们已经获得了摄像机的内参阵。那么对于外参阵，我们很容易通过下面的公式解得：

对上面公式进行化简，可以得到：