相机的内参和外参介绍

      注：以下相机内参与外参介绍除来自网络整理外全部来自于《视觉SLAM十四讲从理论到实践  第2版》中的第5讲：相机与图像，为了方便查看，我将每节合并到了一幅图像中
      相机与摄像机区别：相机着重于拍摄静态图像，光学变焦不大；摄像机着重于拍摄动态视频，光学变焦比较大。
      相机的传感器(CCD, 光学镜头)是有许多像素点按照矩阵的形式排列而成，分辨率就是以水平方向和垂直方向的像素来表示的。分辨率越高，成像后的图像像素数就越高，图像就越清晰。传感器尺寸越大，一定程度上表示相机可容纳像素个数越多，成像的画幅越大。
      像元尺寸:就是每个像素的面积。单个像素面积小，单位面积内的像素数量多，相机的分辨率高。
      像素深度:是指每个像素用多少比特位表示。通常，每个像素的比特位数多，表达图像细节的能力强，这个像素的颜色值更加丰富、分的更细，颜色深度就更深。一般像素深度有1位、8位、16位、24位和32位。
      曝光：指在摄影过程中进入镜头照射在感光元件上的光量。曝光时间:传感器将光信号转换为电信号形成一帧图像，每个像元接受光信号的过程叫曝光，所花费的时间叫曝光时间，也叫快门速度。曝光补偿：是一种曝光控制方式，如果环境光源偏暗，即可增加曝光值以突显画面的清晰度。曝光补偿就是有意识地变更相机自动演算出的"合适"曝光参数，让照片更明亮或者更昏暗的拍摄手法。
      在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。求解相机参数的过程称为相机标定。
      三维世界中的一个物体反射或发出的光线，穿过相机光心后，投影在相机的成像平面上。相机的感光器件接收到光线后，产生测量值，就得到了像素，形成了我们见到的照片。
      相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。针孔模型是很常用而且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系。同时，由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程中会产生畸变。因此，我们使用针孔和畸变两个模型来描述整个投影过程。这两个模型能够把外部的三维点投影到相机内部成像平面，构成相机的内参数。

      齐次坐标是将一个原本是N维的向量用一个N+1维向量来表示.
      通常认为，相机的内参(Camera Intrinsics)在出厂之后是固定的，不会在使用过程中发生变化。
      内参包括：焦距(fx, fy)、主点坐标(cx, cy)、畸变参数。
      内参作用：把坐标从相机坐标系转换到像素坐标系中。
      外参作用：把坐标从世界坐标系转换到相机坐标系中。相机外参随着世界坐标系与相机坐标系的相对位置而变。
      外参：相机的旋转、平移(相机的位姿由它的旋转矩阵R和平移向量t来描述)，用于描述在静态场景下相机的运动，或者在相机固定时，运动物体的刚性运动。相比于不变的内参，外参会随着相机运动发生改变。旋转矩阵R为3*3，平移向量t为3*1; R,t组合成3*4的矩阵。 

      由透镜形状引起的畸变(Distortion, 也叫失真)称为径向畸变,参数包括:k1, k2, k3;
      由于透镜和成像面不能严格平行，会引入切向畸变，参数包括：p1, p2;
      相机成像过程涉及到四个坐标系的转换：世界坐标系、相机坐标系、图像坐标系(归一化坐标系)、像素坐标系。
      在instant-ngp中可通过colmap2nerf.py求相机的内参和外参，运算后生成的transforms.json部分内容如下：

{
  "camera_angle_x": 0.6797143901096673,
  "camera_angle_y": 0.6796103976473696,
  "fl_x": 1131.2978259257525,
  "fl_y": 1131.4850184079994,
  "k1": 0.010915222368470609,
  "k2": -0.9233170001378709,
  "k3": 0,
  "k4": 0,
  "p1": 0.011664713007717898,
  "p2": -0.004849750483773029,
  "is_fisheye": false,
  "cx": 445.86115401855534,
  "cy": 382.96655347583277,
  "w": 800.0,
  "h": 800.0,
  "aabb_scale": 4,
  "frames": [
    {
      "file_path": "./train/r_16.png",
      "sharpness": 695.979090625,
      "transform_matrix": [
        [
          -0.6656617785641908,
          0.007151776858681357,
          0.7462193033207263,
          2.8758118623856377
        ],
        [
          0.7251107079754902,
          -0.23014046936711052,
          0.6490376148874708,
          2.7371395609739637
        ],
        [
          0.17637703291159618,
          0.9731311404169232,
          0.14800988417722724,
          0.6687713985786954
        ],
        [
          0.0,
          0.0,
          0.0,
          1.0
        ]
      ]
    },
    {
      "file_path": "./train/r_23.png",

      其中：
      (1).camera_angle_x, camera_angle_y: 水平、垂直视角；镜头的焦距决定了视角的大小；在colmap2nerf.py中，由焦距求视角的公式为:

camera_angle_x = math.atan(w / (fl_x * 2)) * 2
camera_angle_y = math.atan(h / (fl_y * 2)) * 2

      (2).fl_x, fl_y: 焦距，若没有给出可通过水平或垂直视角计算出，在nerf_loader.cu中的公式为：

fl_x = 0.5f * (float)w / tanf(0.5f * camera_angle_x);
fl_y = 0.5f * (float)h / tanf(0.5f * camera_angle_y);

      (3).k1,k2,k3,k4: 径向畸变参数；
      (4).p1,p2: 切向畸变参数；
      (5).is_fisheye: 是否是鱼眼相机模型；
      (6).cx,cy: 主点坐标；
      (7).w,h: 分辨率，图像宽、高；
      (8).aabb_scale: 对于在单元立方体(unit cube)外部有可见背景的自然场景，有必要将参数aabb_scale设置为2的幂，最大为128;
      (9).transform_matrix: 外参.