【openCV-66】内参矩阵和外参矩阵
外参矩阵与内参矩阵
在计算机视觉、相机标定和三维重建等领域，内参矩阵和外参矩阵是描述相机如何将三维世界映射到二维图像的重要工具。它们分别描述了相机的 内部特性 和 外部位置，是相机标定的核心组成部分。
1. 内参矩阵（Intrinsic Matrix）
内参矩阵描述了相机内部的几何特性，主要涉及焦距、光心和像素的比例等参数。它通常是一个 3x3 的矩阵，用来将相机的 归一化坐标系 转换为 像素坐标系。
1.1 内参矩阵的组成
内参矩阵 ( K ) 通常表示为：
K = [ f x 0 c x 0 f y c y 0 0 1 ] K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} K= fx000fy0cxcy1
其中：
- ( f_x ) 和 ( f_y ) 是相机在 x 和 y 方向上的焦距，通常通过相机的焦距和像素大小的关系计算得到。通常情况下，( f_x = f_y )，即像素的宽高比为1，但在某些情况下，可能有微小的差异。
- ( c_x ) 和 ( c_y ) 是图像的 光心（principal point），表示图像坐标系的原点位置，通常接近图像的中心。
- ( 0 ) 和 ( 1 ) 是为了保持矩阵的齐次坐标而设置的常数。
1.2 内参矩阵的作用
内参矩阵用于描述相机如何将三维世界的点投影到图像平面上。在计算机视觉应用中，通常使用内参矩阵将 相机坐标系 下的三维点（3D）转换为 图像坐标系 下的二维点（2D）。通过内参矩阵，三维点 ((X, Y, Z)) 可以通过以下投影方程转换为二维图像坐标 ((x, y))：
[ x y 1 ] = K ⋅ [ X Y Z ] \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = K \cdot \begin{bmatrix} X \\ Y \\ Z \end{bmatrix} xy1 =K⋅ XYZ
2. 外参矩阵（Extrinsic Matrix）
外参矩阵描述了相机的 位置 和 朝向，即相机坐标系与世界坐标系之间的转换关系。外参矩阵通常由两个部分组成：
- 旋转矩阵：描述相机坐标系相对于世界坐标系的旋转。
- 平移向量：描述相机坐标系相对于世界坐标系的平移。
外参矩阵通常表示为一个 3x4 的矩阵 ( [R | T] )，其中：
- ( R ) 是 旋转矩阵（3x3），描述相机坐标系相对于世界坐标系的旋转。
- ( T ) 是 平移向量（3x1），描述相机坐标系相对于世界坐标系的平移。
2.1 外参矩阵的组成
外参矩阵 ( [R | T] ) 可以表示为：
[ R ∣ T ] \begin{bmatrix} R | T \end{bmatrix} [R∣T]
其中：
- ( R ) 是一个 3x3 的旋转矩阵，表示相机坐标系相对于世界坐标系的旋转。
- ( T ) 是一个 3x1 的平移向量，表示相机坐标系相对于世界坐标系的平移。
2.2 外参矩阵的作用
外参矩阵将世界坐标系中的三维点映射到相机坐标系中。给定世界坐标系中的点 ( (X_w, Y_w, Z_w) )，它可以通过外参矩阵变换到相机坐标系中的点 ( (X_c, Y_c, Z_c) )：
[ X c Y c Z c ] = R ⋅ [ X w Y w Z w ] + T \begin{bmatrix} X_c \\ Y_c \\ Z_c \end{bmatrix} = R \cdot \begin{bmatrix} X_w \\ Y_w \\ Z_w \end{bmatrix} + T XcYcZc =R⋅ XwYwZw +T
在这个过程中，旋转矩阵 ( R ) 负责点的旋转变换，平移向量 ( T ) 负责点的平移变换。
3. 内参矩阵与外参矩阵的结合
在实际应用中，通常需要将内参矩阵和外参矩阵结合起来，形成一个完整的 相机投影模型。这个投影模型将三维世界坐标系的点映射到图像坐标系。综合了内外参后，点的转换公式如下：
[ x y 1 ] = K ⋅ [ R ∣ T ] ⋅ [ X w Y w Z w 1 ] \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = K \cdot [R | T] \cdot \begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1 \end{bmatrix} xy1 =K⋅[R∣T]⋅ XwYwZw1
这里：
- ( [R | T] ) 是外参矩阵，描述相机坐标系与世界坐标系的关系。
- ( K ) 是内参矩阵，描述相机如何将三维点映射到图像平面。
4. 相机标定与内外参矩阵的求解
相机标定的过程中，通过已知的物理模型和图像中的特征点，可以估计相机的内外参数。常用的标定方法包括 张正友标定法（Zhang’s Calibration Method），它使用棋盘格图像来估计相机的内外参。
在标定过程中，我们通过一组已知的世界坐标和图像坐标对来估计内参矩阵（如焦距、光心位置）和外参矩阵（如旋转和平移）。这些参数对于进行图像畸变校正、三维重建、增强现实等任务至关重要。
5. 总结
- 内参矩阵（Intrinsic Matrix）：描述相机内部的几何属性，包括焦距、光心位置等。它将相机的三维坐标映射到图像平面。
- 外参矩阵（Extrinsic Matrix）：描述相机相对于世界坐标系的旋转和平移，定义了世界坐标系和相机坐标系之间的转换。
这两个矩阵共同构成了相机的投影模型，允许我们将三维世界中的点映射到二维图像中。理解和计算这两个矩阵对于各种计算机视觉任务（如图像拼接、三维重建和目标定位）是非常重要的。