针孔模型以及投影矩阵

视觉几何计算主要参考Gang Xu与张正友的《Epipolar Geometry in Stereo,Motion,and Object Recognition》

一、针孔模型概述

       一般计算机视觉中都会假设摄像机的模型为针孔模型，针孔模型即为三维世界中的物体通过一个针孔投影在成像平面上，根据几何成像关系能够得出：像平面距离光心的距离，即为摄像机的焦距，摄像机的焦距将是之后我们求取的重要的参数。如下图所示。能够得出：在摄像机坐标系下空间中的一点M（X,Y,Z）投影到图像坐标系上的一点m（x，y）是满足相似关系的，这种相似关系是我们下面推导的基础。

                        

二、摄像机的内外参数获取

        在此之前，有必要了解一些几个概念。摄像机坐标系是以像机的光心为坐标远点的三维坐标系，如图中的XcYcZc；世界坐标系是3D世界中的一个三维坐标系，如图中的XwYwZw，可以建立在任何位置。图像坐标系即为建立在图像平面的一个二维坐标系，一般建立在图像的中心。假设在摄像机坐标系下的三维空间中一坐标点为，其齐次坐标点为，下标用C或者Cam来表示，意即Camera；在世界坐标系下的一坐标点为，对应的齐次坐标，，下标用W表示意即World或者有时候干脆用来表示。它们的齐次坐标均表示为：，图像坐标系下的一点为，其对应的齐次坐标表示为 。在这里我们假设摄像机的坐标系的Zc轴经过图像坐标系的原点，并且假设图像坐标系的x轴与y轴是互相垂直的；稍后将看到当上述两个假设条件不满足的时候形式会有一些改变。

       根据针孔模型的成像的相似原理，如下图所示：

                         

       我们能够得到摄像机坐标系下的一点X投影在图像坐标系上为x（下面我们表示x点的坐标为（x，y），希望读者不要混淆），其中x点的纵坐标y为fY/Z，f为摄像机的焦距，同样的能够得出x点的横坐标为fX/Z，这样我们就可以通过矩阵来进行表示了，得到：

                                                                    

两边同乘以（注意表示在摄像机坐标系下的一点的坐标）则能够得到：

                                        

上式用到了矩阵分解，把矩阵分解为是为了实际中的计算的方便；上式可以表示为，其中我们称P为投影矩阵，表示为。OK，回到之前我们提出的两个假设，第一个假设就是摄像机坐标系的Zc轴经过图像坐标系的原点，实际上我们在处理图像时假设图像的坐标原点并不是图像中心或者在制造CMOS时工艺上有误差，anyway，假设图像的坐标系的原点在成的图像的左下角，如下图所示：

                                                              

则有，其中p点：为图像坐标系的主点坐标，所谓主点即摄像机坐标系的Z轴与图像平面的交点。再进行一遍上述推导，则有着：

                                                                

得：

即：

                                    

即：                                                            

其中：。称为摄像机的内参数矩阵。

        截止到目前为止，仍没有推到完，因为最终要与世界坐标系中的联系起来，而式只与有关，很自然的想起来寻找与的关系，显然这里是两个坐标系之间的变换关系。在这里我们假设世界坐标系经过R的旋转以及t的平移得到摄像机坐标系，如下图所示，有公式：

                                             

把中的与表示为齐次坐标系下的坐标：与，并且把该式转换成矩阵的形式有

结合（2）式能够得到:

                       

所以，得到的的形式就是:       

                                                      

然而这并不是最终的形式，考虑到成像工艺的限制，成像单元可能并不是长方形的，即成像平面上的X轴与Y轴可能有一定的夹角，所以在此引入倾斜因子s,则有，不难得到最终的表达式为：

                               

其中P为投影矩阵；矩阵称为内参数矩阵，[R,t]称为外参数矩阵。在实用中常常假设s=0，，内参数矩阵写成这种上参数的形式在一定程度上是为了计算的方便。

       不难发现，读者在由公式（1.5）过渡到（2）的过程中，忽略了等式左边的系数Z，至于为什么忽略，我想有一点可能是与书写方便有关，另外一点儿与实际的应用有关，包括之后的极线几何或者是其他的视觉计算中系数Z都是不起作用的，所以会忽略，但是我想应该了解这一点，在后面应用推导中，这一点应该会更加明晰。

所以公式（4）中又可以写为：

                                          

其中,即为三维坐标点的Z值。标定的很大一部分工作就是围绕着如何求解投影矩阵P来进行。

       另外：

       纠正想法：并非常量，即为Z，与三维坐标中的点有关系，所以对消去的做法的前提必须是有着相同的Z值的点？

       求取摄像机的光心（摄像机坐标系下的原点）的方法：令Z=0，即；根据最原始的方程,我们能够得到X与Y也皆为0，则方程中的表示摄像机的坐标原点在世界坐标系下的表示，将P进行分解，有，则,于是能够求得,前提是B可逆。