相机模型总结

相机模型

相机模型就是用数学的方式描述了一个真实世界中的三维点到图像上像素坐标的映射关系。

前言

成像既然是用来描述真实的相机镜头的投影关系，那么必然理论跟现实就会有差距。因此，研究者设计了不同的成像模型来描述不同镜头的投影关系。也可以根据这些数学模型设计真实的物理镜头。事实上，只要成像角度稍微大的镜头（可以想象鱼眼镜头），如果还是用简单的针孔模型来描述的化，偏差就会很大，因此需要不同的相机模型来描述。

经典的成像模型要有一个步骤就是把三维坐标的点先投影到单位球(Unit Sphere)上，有时候这个单位球也叫Viewing Sphere

之所以可以这样做的原因是，从相机光心发射出的一条线，线上的点都会投影到同一个像素值。也就是说，我们在做投影的时候，放缩一个常量的结果是相同的

先把三维点投影到单位球上，其在图像上的成像点与图像y轴的夹角保持不变，其在图像上离原点的距离是夹角$\alpha$的函数

$$\begin{gathered} P_s=\frac{P}{\Vert P\Vert }=\left(x_s,y_s,z_s\right) \\ r=\sqrt{x_s^2+y_s^2} \\ \alpha =atan(r,z_s) \\ \beta =atan(y_s,x_s) \end{gathered}$$

是三维点投影到单位圆之后的点，该点投影到图像上，与图像x轴的夹角保持不变，其到图像中心的距离是夹角 的函数 ，这个函数的不同形式对应着不同的经典成像模型

1. pinhole 针孔模型

针孔相机有四个参数：$f_x,f_y,c_x,c_y$,投影方程定义为：$$\mathbf{\pi }(\mathbf{x},\mathbf{i})=\left[\begin{array}{l}u\\ v\end{array}\right]=\left[\begin{array}{l}{f}_x\frac{x}{z}\\ f_y\frac{y}{z}\end{array}\right]+\left[\begin{array}{l}{c}_x\\ c_y\end{array}\right]$$
或者$$\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\frac{X}{Z}\\ \frac{Y}{Z}\\ 1\end{array}\right]$$

代码实现

// cam2world（unprojection）
	if(!distortion_)
	  {
	    xyz[0] = (u - cx_)/fx_;
	    xyz[1] = (v - cy_)/fy_;
	    xyz[2] = 1.0;
	  }
	
// world2cam（projection）
	  if(!distortion_)
	  {
	    px[0] = fx_*uv[0] + cx_;
	    px[1] = fy_*uv[1] + cy_;
	  }

2. Omnidirectional Camera Model 全向相机模型

全向相机采用的镜片通常为凸透镜，所以感光传感器上汇聚的环境光会发生折射，导致坐标系点产生变化，如下图所示。将凸透镜片称为mirror系。由于有mirror系的存在，所以全向相机模型会比针孔相机模型多一个参数
全向相机（Omnidirectional Camera）模型有五个参数：$\xi ,f_x,f_y,c_x,c_y$

模型主要分为两种：

1. central cameras 有中心相机
2. non-central cameras 无中心相机
   
   这两种光都集中在中间一个点
   
   成像中心不是在一个点上
   (a，b)central cameras的例子:透视投影和双曲镜折射率投影。(c，d)non-central cameras 的例子:光线的包络形成焦散。

• 后面的模型主要是（b）

2.1 Unified model for catadioptric cameras 反射式相机统一模型

• 主要应用于反射式镜头，也可应用于鱼眼

• 我们构建模型的主要目标是获得 入射方向 和 像素坐标 的映射关系，针对相机坐标系下一个点$P=(x,y,z)$ (在相机坐标系下)， 其成像中心为$C$

• 假设： 成像轴和镜面的反射轴是完美重合的

统一化的相机模型主要遵循以下几个步骤：

1. 将点 $P$ 归一化到一个单位球上 （$||P_s||=1$）
   $$P_s=\frac{P}{\Vert P\Vert }=\left(x_s,y_s,z_s\right)$$
2. 将成像中心沿光轴调整到新的位置 $C_{\xi }=(0,0,-\xi )$, 有
   $$P_{\xi }=\left(x_s,y_s,z_s+\xi \right)$$
   

由于我们单位球，因此 $\xi \in [0,1]$, 当其为 0 时，实际上就是我们的针孔模型。
3. 按照小孔成像的方式， 将点 $P_{\xi }$ 投影至归一化成像平面
$$p_d=\left(x_d,y_d,1\right)=\left(\frac{x_s}{z_s+\xi },\frac{y_s}{z_s+\xi },1\right)=g^{-1}(P)$$

类比针孔相机,就是$\left(\frac{x_s}{z_s},\frac{y_s}{z_s},1\right)$

4. 按照小孔成像模式增加畸变项
   各种畸变模型，参考第二章
5. 使用内参矩阵 $K$ 进行投影, 内参矩阵和第二章定义类似
   $$p=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K{p}_d$$
   

反投影

反投影实际上就是已知 $p_d$ (归一化的图像坐标系的点)求解 $P_s$ 的过程，我们假设 $O{P}_s$ 射线上存在一个点 $P_s^{\prime }=\left(x_d,y_d,z^{\prime }\right)$ ，（其模长 = $\sqrt{r^2+z^{\prime 2}}$）其归一化后实际上就是 $P_s$, 也就是说，其成像点也是 $P_d$, 即其满足
$$\left(\frac{x_d}{z^{\prime }+\xi \sqrt{z^{\prime 2}+r^2}},\frac{y_d}{z^{\prime }+\xi \sqrt{z^{\prime 2}+r^2}},1\right)=\left(x_d,y_d,1\right)$$

归一化时$$=>\left(\frac{x_d}{\sqrt{z^{\prime 2}+r^2}},\frac{y_d}{\sqrt{z^{\prime 2}+r^2}},\frac{z_d}{\sqrt{z^{\prime 2}+r^2}}\right)$$
$$=>\left(\frac{x_d}{\sqrt{z^{\prime 2}+r^2}\ast (\frac{z_d}{\sqrt{z^{\prime 2}+r^2}}+\xi )}+,\frac{y_d}{\sqrt{z^{\prime 2}+r^2}\ast (\frac{z_d}{\sqrt{z^{\prime 2}+r^2}}+\xi )},1\right)$$
$$=>\left(\frac{x_d}{z^{\prime }+\xi \sqrt{z^{\prime 2}+r^2}},\frac{y_d}{z^{\prime }+\xi \sqrt{z^{\prime 2}+r^2}},1\right)=\left(x_d,y_d,1\right)$$

则有
$$z^{\prime }+\xi \sqrt{z^{\prime 2}+r^2}=1$$
因此有
$$z^{\prime }=\frac{\xi \sqrt{1+r^2\left(1-{\xi }^2\right)}-1}{{\xi }^2-1}$$
我们稍微整理下，可以把上述的投影流程表达为(opencv形式)(${\gamma }_x,c_x,{\gamma }_y,c_y$相当于内参K)
$$\begin{array}{rl}\pi (\mathbf{x},\mathbf{i})& =\left[\begin{array}{l}{\gamma }_x\frac{x}{\xi d+z}\\ {\gamma }_y\frac{y}{\xi d+z}\end{array}\right]+\left[\begin{array}{l}{c}_x\\ c_y\end{array}\right]\\ d& =\sqrt{x^2+y^2+z^2}\end{array}$$
实际上，我们会使用如下形式(kalibr形式)
$$\pi (\mathbf{x},\mathbf{i})=\left[\begin{array}{c}{f}_x\frac{x}{\alpha d+(1-\alpha )z}\\ f_y\frac{d}{\alpha d+(1-\alpha )z}\end{array}\right]+\left[\begin{array}{c}{c}_x\\ c_y\end{array}\right]$$

其反投影为(kalibr形式，自行推导)
$$\begin{array}{rl}{\pi }^{-1}(\mathbf{u},\mathbf{i})& =\frac{\xi +\sqrt{1+\left(1-{\xi }^2\right)r^2}}{1+r^2}\left[\begin{array}{c}{m}_x\\ m_y\\ 1\end{array}\right]-\left[\begin{array}{l}0\\ 0\\ \xi \end{array}\right]\\ m_x& =\frac{v-c_y}{f_y}(1-\alpha )\\ r^2& =m_x^2+m_y^2\\ \xi & =\frac{\alpha }{1-\alpha }\\ {\gamma }_x& =\frac{f_x}{1-\alpha }\\ {\gamma }_y& =\frac{f_y}{1-\alpha }\end{array}$$
同样, 如果 $\alpha =0$ 的时候, 模型就变为针孔模型。

2.2 Extended Unified model for catadioptric cameras (EUCM)

前面讲到的 UCM 是在一个归一化的球上面做投影的，这节的 EUCM 其实是在UMC上的扩展，其将投影球变为了投影椭球。

EUCM需要标定6个参数： $[f_x,f_y,c_x,c_y,\alpha ,\beta ]$

假设椭球的方程为 $\beta \left(x^2+y^2\right)+z^2=1$, 和 $1.1$ 中一样，对于任意点 $P=(x,y,z)$, 归一化到椭球上有
$$P_s=\left(\frac{x}{\sqrt{\beta \left(x^2+y^2\right)+z^2}},\frac{y}{\sqrt{\beta \left(x^2+y^2\right)+z^2}},\frac{z}{\sqrt{\beta \left(x^2+y^2\right)+z^2}}\right)$$
同样，找到一个新的虚拟光心，平移量为 $\xi$, 则此时有
$$P_s=\left(\frac{x}{\sqrt{\beta \left(x^2+y^2\right)+z^2}},\frac{y}{\sqrt{\beta \left(x^2+y^2\right)+z^2}},\frac{z}{\sqrt{\beta \left(x^2+y^2\right)+z^2}}+\xi \right)$$
同样投影到归一化的图像平面有
$$P_s=\left(\frac{x}{z+\xi \sqrt{\beta \left(x^2+y^2\right)+z^2}},\frac{y}{z+\xi \sqrt{\beta \left(x^2+y^2\right)+z^2}},1\right)$$
同样，反投影也可以使用类似的方法得到
$$z=\frac{\xi \sqrt{1+\beta r^2\left(1-{\xi }^2\right)}-1}{{\xi }^2-1}$$
同样的，我们依然采用扩展的写法
$$\pi (\mathbf{x},\mathbf{i})=\left[\begin{array}{c}{f}_x\frac{x}{\alpha d+(1-\alpha )z}\\ f_y\frac{d}{\alpha d+(1-\alpha )z}\end{array}\right]+\left[\begin{array}{l}{c}_x\\ c_y\end{array}\right]$$
其中 $d$ 和上面的 UCM 不同，其为
$$d=\sqrt{\beta \left(x^2+y^2\right)+z^2}$$
反向投影为
$$\begin{array}{c}x=\frac{u-c_x}{f_x}\\ y=\frac{v-c_y}{f_y}\\ z=\frac{1-\beta {\alpha }^2{r}^2}{\alpha \sqrt{1-(2\alpha -1)\beta r^2}+(1-\alpha )}\end{array}$$
其中 $r^2=x^2+y^2$.

2.3 Omnidirectional Camera Model By Scaramuzza

实际上，上述的投影模型都可以使用一种类似的表达方式
$$P_s=\left[\begin{array}{l}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{x}_m\\ y_m\\ g(m)\end{array}\right]$$
2006 年，Scaramuzza 提出了一种使用多项式来近似的方式，即

投影结构也是类似的形式：通过一个球面投影到归一化平面上。

其中
$$\begin{array}{c}{f}_{\rho }=a_0+a_1{\rho }^2+a_2{\rho }^3+a_4{\rho }^4+\dots \\ \rho =\sqrt{u^2+v^2}\end{array}$$
上述我们使用模型将图像平面和 3D 点进行了关联，考虑到实际像素平面可以近似使用一个仿射变换来得到, 于是有
$$\left[\begin{array}{l}{u}^{\prime }\\ v^{\prime }\end{array}\right]=\left[\begin{array}{ll}c& d\\ e& 1\end{array}\right]\left[\begin{array}{l}u\\ v\end{array}\right]+\left[\begin{array}{l}{x}_c^{\prime }\\ y_c^{\prime }\end{array}\right]$$
可以看到, 其实这个模型从像素坐标到世界坐标系时非常简单，只要按照多项式计算即可。相反，其从世界坐标系到相机 坐标系投影会更加麻烦。

• 这个是matlab代码
• 正向投影：

%WORLD2CAM projects a 3D point on to the image
%   m=WORLD2CAM(M, ocam_model) projects a 3D point on to the
%   image and returns the pixel coordinates.
%   
%   M is a 3xN matrix containing the coordinates of the 3D points: M=[X;Y;Z]
%   "ocam_model" contains the model of the calibrated camera.
%   m=[rows;cols] is a 2xN matrix containing the returned rows and columns of the points after being
%   reproject onto the image.
%   
%   Copyright (C) 2006 DAVIDE SCARAMUZZA   
%   Author: Davide Scaramuzza - email: [email protected]

function m=world2cam(M, ocam_model)  %M：3d点
ss = ocam_model.ss;    %
xc = ocam_model.xc;
yc = ocam_model.yc;
width = ocam_model.width;
height = ocam_model.height;
c = ocam_model.c; %对应模型的c，d，e
d = ocam_model.d;
e = ocam_model.e;

[x,y]  = omni3d2pixel(ss,M,width, height); % p = [x,y,z]^T = [u,v,f(u,v)]
m(1,:) = x*c + y*d + xc;
m(2,:) = x*e + y   + yc;

function [x,y] = omni3d2pixel(ss, xx, width, height)


%convert 3D coordinates vector into 2D pixel coordinates

%These three lines overcome problem when xx = [0,0,+-1]
ind0 = find((xx(1,:)==0 & xx(2,:)==0));
xx(1,ind0) = eps;
xx(2,ind0) = eps;

m = xx(3,:)./sqrt(xx(1,:).^2+xx(2,:).^2); % 把第三项做了归一化 z = z/sqrt(x^2+y^2)

rho=[];
poly_coef = ss(end:-1:1);
poly_coef_tmp = poly_coef;
for j = 1:length(m)
    poly_coef_tmp(end-1) = poly_coef(end-1)-m(j); % 把多项式中的a0-m 让z = g(m) 也就是z=多项式
    											  % a0+a1ρ^2+a2ρ^3+a4ρ^4 = m
    rhoTmp = roots(poly_coef_tmp);
    res = rhoTmp(find(imag(rhoTmp)==0 & rhoTmp>0));% & rhoTmp1    %obrand
        rho(j) = NaN;
    elseif length(res)>1    %obrand
        rho(j) = min(res);    %obrand
    else
        rho(j) = res;
    end
end
x = xx(1,:)./sqrt(xx(1,:).^2+xx(2,:).^2).*rho ;
y = xx(2,:)./sqrt(xx(1,:).^2+xx(2,:).^2).*rho ;

• 反向投影

对应到原理$\left[\begin{array}{l}{u}^{\prime }\\ v^{\prime }\end{array}\right]=\left[\begin{array}{ll}c& d\\ e& 1\end{array}\right]\left[\begin{array}{l}u\\ v\end{array}\right]+\left[\begin{array}{l}{x}_c^{\prime }\\ y_c^{\prime }\end{array}\right]$就是已知$\left[\begin{array}{l}{u}^{\prime }\\ v^{\prime }\end{array}\right]$求$\left[\begin{array}{l}u\\ v\end{array}\right]$

%CAM2WORLD Project a give pixel point onto the unit sphere
%   M=CAM2WORLD=(m, ocam_model) returns the 3D coordinates of the vector
%   emanating from the single effective viewpoint on the unit sphere
%
%   m=[rows;cols] is a 2xN matrix containing the pixel coordinates of the image
%   points.
%
%   "ocam_model" contains the model of the calibrated camera.
%   
%   M=[X;Y;Z] is a 3xN matrix with the coordinates on the unit sphere:
%   thus, X^2 + Y^2 + Z^2 = 1
%   
%   Last update May 2009
%   Copyright (C) 2006 DAVIDE SCARAMUZZA   
%   Author: Davide Scaramuzza - email: [email protected]

function M=cam2world(m, ocam_model)

n_points = size(m,2);

ss = ocam_model.ss;
xc = ocam_model.xc;
yc = ocam_model.yc;
width = ocam_model.width;
height = ocam_model.height;
c = ocam_model.c;
d = ocam_model.d;
e = ocam_model.e;

A = [c,d;
     e,1];
T = [xc;yc]*ones(1,n_points);

m = A^-1*(m-T); % 相当于[c,d,e,1]^T*([u',v']-[xc',yc'])
M = getpoint(ss,m);
M = normc(M); %normalizes coordinates so that they have unit length (projection onto the unit sphere)

function w=getpoint(ss,m)

% Given an image point it returns the 3D coordinates of its correspondent optical
% ray

w = [m(1,:) ; m(2,:) ; polyval(ss(end:-1:1),sqrt(m(1,:).^2+m(2,:).^2)) ]; % [u,v,多项式]

畸变模型

1. Equidistant (EQUI) 等距畸变模型

Equidistant 有四个参数： $[k_1,k_2,k_3,k_4]$

$$\begin{gathered} P_s=\frac{P}{\Vert P\Vert }=\left(x_s,y_s,z_s\right) \\ r=\sqrt{(x_s^2+y_s^2)} \\ \theta =atan2(r,|z_s|)=atan2(r,1)=atan(r) \\ {\theta }_d=\theta (1+k_1{\theta }^2+k_2{\theta }^4+k_3{\theta }^6+k_4{\theta }^8) \end{gathered}$$

$$\{\begin{array}{c}{x}_d=\frac{{\theta }_d{x}_s}{r}\\ y_d=\frac{{\theta }_d{y}_s}{r}\end{array}$$

float ix = (x - ocx) / ofx;
float iy = (y - ocy) / ofy;
float r = sqrt(ix * ix + iy * iy);
float theta = atan(r);
float theta2 = theta * theta;
float theta4 = theta2 * theta2;
float theta6 = theta4 * theta2;
float theta8 = theta4 * theta4;
float thetad = theta * (1 + k1 * theta2 + k2 * theta4 + k3 * theta6 + k4 * theta8);
float scaling = (r > 1e-8) ? thetad / r : 1.0;
float ox = fx*ix*scaling + cx;
float oy = fy*iy*scaling + cy;

2. Radtan 切向径向畸变， Brown模型

Radtan有四个参数：$[k_1,k_2,p_1,p_2]$

$$\{\begin{array}{c}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4)+2p_{1}xy+p_2(r^2+2x^2)\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4)+2p_{2}xy+p_1(r^2+2y^2)\end{array}$$
其中x,y是不带畸变的坐标, $x_{distorted},y_{distorted}$​是有畸变图像的坐标。

// cam2world(distorted2undistorted)
// 先经过内参变换，再进行畸变矫正
{
  cv::Point2f uv(u,v), px;
  const cv::Mat src_pt(1, 1, CV_32FC2, &uv.x);
  cv::Mat dst_pt(1, 1, CV_32FC2, &px.x);
  cv::undistortPoints(src_pt, dst_pt, cvK_, cvD_);
  xyz[0] = px.x;
  xyz[1] = px.y;
  xyz[2] = 1.0;
}
// 先经过镜头发生畸变，再成像过程，乘以内参
// world2cam(undistorted2distorted)
{
  double x, y, r2, r4, r6, a1, a2, a3, cdist, xd, yd;
  x = uv[0];
  y = uv[1];
  r2 = x*x + y*y;
  r4 = r2*r2;
  r6 = r4*r2;
  a1 = 2*x*y;
  a2 = r2 + 2*x*x;
  a3 = r2 + 2*y*y;
  cdist = 1 + d_[0]*r2 + d_[1]*r4 + d_[4]*r6;
  xd = x*cdist + d_[2]*a1 + d_[3]*a2;
  yd = y*cdist + d_[2]*a3 + d_[3]*a1;
  px[0] = xd*fx_ + cx_;
  px[1] = yd*fy_ + cy_;
}

3. FOV 视野畸变模型

FOV 有一个参数： $[\omega ]$

$$\begin{gathered} P_s=\frac{P}{\Vert P\Vert }=\left(x_s,y_s,z_s\right) \\ r=\sqrt{(X/Z{)}^2+(Y/Z{)}^2}=\sqrt{x^2+y^2} \\ {r}_d=\frac{1}{\omega }arctan(2\cdot r\cdot tan(\omega /2)) \end{gathered}$$

$$\{\begin{array}{c}{x}_{distorted}=\frac{r_d}{r}\cdot x_s\\ y_{distorted}=\frac{r_d}{r}\cdot y_s\end{array}$$

// cam2world(distorted2undistorted)
Vector2d dist_cam( (x - cx_) * fx_inv_, (y - cy_) * fy_inv_ );
double dist_r = dist_cam.norm();
double r = invrtrans(dist_r);
double d_factor;
if(dist_r > 0.01)
  d_factor =  r / dist_r;
else
  d_factor = 1.0;
return unproject2d(d_factor * dist_cam).normalized();


// world2cam(undistorted2distorted)
double r = uv.norm();
double factor = rtrans_factor(r);
Vector2d dist_cam = factor * uv;
return Vector2d(cx_ + fx_ * dist_cam[0],
                  cy_ + fy_ * dist_cam[1]);

// 函数
//! Radial distortion transformation factor: returns ration of distorted / undistorted radius.
inline double rtrans_factor(double r) const
{
  if(r < 0.001 || s_ == 0.0)
    return 1.0;
  else
    return (s_inv_* atan(r * tans_) / r);
};

//! Inverse radial distortion: returns un-distorted radius from distorted.
inline double invrtrans(double r) const
{
  if(s_ == 0.0)
    return r;
  return (tan(r * s_) * tans_inv_);
};

投影模型

1. 全投影模型

1. 将世界系下的世界坐标系点投影到归一化球面上（unit sphere）
$$(\mathcal{X}{)}_{{\mathcal{F}}_m}\to {\left({\mathcal{X}}_s\right)}_{{\mathcal{F}}_m}=\frac{\mathcal{X}}{\Vert \mathcal{X}\Vert }=\left(X_s,Y_s,Z_s\right)$$
2. 将投影点的坐标变换到一个新坐标系下表示, 新坐标系的原点位于 ${\mathcal{C}}_p=(0,0,\xi )$
$${\left({\mathcal{X}}_s\right)}_{{\mathcal{F}}_m}\to {\left({\mathcal{X}}_s\right)}_{{\mathcal{F}}_p}=\left(X_s,Y_s,Z_s+\xi \right)$$
3. 将其投影到归一化平面 (${\mathbf{m}}_u$归一化坐标点）
$${\mathbf{m}}_u=\left(\frac{X_s}{Z_s+\xi },\frac{Y_s}{Z_s+\xi },1\right)=\hslash \left({\mathcal{X}}_s\right)$$
4. 增加畸变影响
$${\mathbf{m}}_d={\mathbf{m}}_u+D\left({\mathbf{m}}_u,V\right)$$
5. 乘上相机模型内参矩阵 $\mathbf{K}$, 其中 $\gamma$ 表示焦距, $\left(u_0,v_0\right)$ 表示光心, $s$ 表示坐标系倾斜系数, $r$ 表示纵横比
$$\mathbf{p}=\mathbf{K}\mathbf{m}=\left[\begin{array}{ccc}\gamma & \gamma s& u_0\\ 0& \gamma r& v_0\\ 0& 0& 1\end{array}\right]\mathbf{m}=k(\mathbf{m})$$

常用模型组合

MEI Camera： Omni + Radtan

Pinhole Camera：Pinhole + Radtan

atan Camera: Pinhole + FOV

Davide Scaramuzza Camera

这个是ETHZ的工作，畸变和相机内参放在一起了，为了克服针对鱼眼相机参数模型的知识缺乏，使用一个多项式来代替

DSO：Pinhole + Equi / Radtan / FOV
VINS：Pinhole / Omni + Radtan
SVO：Pinhole / atan / Scaramuzza
OpenCV：cv: pinhole + Radtan , cv::fisheye: pinhole + Equi , cv::omnidir: Omni + Radtan

参考

https://blog.csdn.net/zhangjunhit/article/details/89137958

https://blog.csdn.net/okasy/article/details/90665534#commentBox

https://blog.csdn.net/qq_40618821/article/details/117966536

https://blog.csdn.net/OKasy/article/details/90665534

https://zhuanlan.zhihu.com/p/540969207