三维重建基础

图像的高频信息和低频信息

低频信息指的是颜色缓慢变化，代表着连续渐变的一块区域，这部分为低频信息。对于一副图像来说，除去高频就是低频，也就是边缘以内的内容为低频，而边缘内的内容就是图像的大部分信息，即图像的大致概貌和轮廓，是图像的近似信息。

反之，图像边缘的灰度值变化快，就对应着高频。图像的细节处也就是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节。另外对于噪声，在一个像素所在的位置，之所以是噪点，是因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样，所以是高频部分。

通常，图像的低频是图像中对象的大致概况内容，高频对应噪声和细节。

ICML2018"On the spectral bias of neural networks"的研究指出，神经网络更倾向于拟合高频信息，而人类主要关注低频信息，然而对低频分量的学习，更有助于网络提高在对抗干扰过程中的鲁棒性。

旋转矩阵和平移向量

旋转矩阵和平移向量描述了一个刚体在三维空间中的运动状态。

平移向量

首先了解平移向量：

坐标系1和坐标系2平行但不重合，所以空间点从坐标系2到坐标系1的变换只有平移向量，用$t$表示。假设，坐标系2的原点$O_2$在坐标系1中为$(X_{O_2},Y_{O_2},Z_{O_2})$，空间点$P$在坐标系2中的坐标为$(X_2,Y_2,Z_2)$，则点$P$在坐标系1中的坐标$(X_1,Y_1,Z_1)$为：$$X_1=X_2+X_{O_2}$$$$Y_1=Y_2+Y_{O_2}$$$$Z_1=Z_2+Z_{O_2}$$即空间点从坐标系2到坐标系1的变换可以表示为：$P_1=P_2+t$；

其中，$P_1$、$P_2$分别为空间点$P$在坐标系1和坐标系2中的坐标，$t$为空间点从坐标系2变换到坐标系1的平移向量。

旋转矩阵

如图，坐标系1和坐标系2原点重合但是不平行，所以空间点从坐标系2到坐标系1的变换只有旋转矩阵，用$R$表示。空间点$P$在坐标系1和坐标系2中的坐标分别为$P_1$、$P_2$，则：$$P_1=R{P}_2$$其中，旋转矩阵为：

令：

则：$R=(r_1,r_2,r_3)$，在坐标系2中取三个点$A(1,0,0),B(0,1,0),C(0,0,1)$，分别将其转换到坐标系1中，则：

即，空间点从坐标系2到坐标系1的旋转矩阵$R$的分量$r_1,r_2,r_3$分别为坐标系2的基底向量在坐标系1中的表示。

相机成像中的四个坐标系

• 图像像素坐标系：表示三维空间物体在图像平面（上图黄色的image plane）上的投影，像素是离散化的，其坐标原点在图像平面的左上角。$u$轴平行于图像平面水平向右，$v$轴垂直于$u$轴向下，坐标用$(u,v)$表示，图像宽$W$，高$H$。
• 图像物理坐标系：坐标原点在图像平面中心，$x,y$轴分别平行于图像像素坐标系的$u,v$轴，坐标用$(x,y)$表示。
• 相机坐标系：以相机的光心（camera origin）为坐标系原点，$x_C,y_C$
  轴平行于图像物理坐标系的$x,y$轴，相机的光轴为$z_C$轴，坐标系满足右手法则。相机的光心可以理解为相机透镜的几何中心，如下图所示，物理成像平面和光心的距离为$f$（即为焦距）。

• 世界坐标系：用于表示空间物体的绝对坐标，使用$(X_w,Y_w,Z_w)$表示，世界坐标系可通过旋转和平移对应到相机坐标系。

基于四个坐标系，我们记$P_{uv}=(u,v,1{)}^T$为图像像素坐标系下的某个像素的坐标，$P=(x_C,y_C,z_C)$为其对应的相机坐标系下的坐标，两者具有以下关系：$$P_{uv}=\frac{1}{z_C}KP\to z_C{P}_{uv}=KP$$其中，$z_C{P}_{u,v}\in R^{3\times 1}$，$K$为：

即相机内参，相机内参一般都是相机出厂就定下来的，也可以通过相机标定的方式人为计算出来。

令$P_w\in R^{3\times 1}$为该像素对应的世界坐标系下的坐标，我们有：$$P=R{P}_w+t$$$$z_C{P}_{u,v}=K(R{P}_w+t)$$其中，$R$和$t$是相机外参，决定了相机的位姿。

---

注意到，$P$对应前面所说的旋转矩阵和平移向量的坐标系1，$P_w$对应坐标系2。

相机内参：从相机坐标系转换到像素坐标系；

相机外参：从世界坐标系转换到相机坐标系；

---