为什么structure from motion只能提取出物体的比例信息？

首先，构建一个相机移动的模型。假设相机通过旋转矩阵$R$和位移向量$T$从$p_r$的位置移动到$p_l$的位置。世界坐标系中的物体$P$在不同位置的相机坐标系中的坐标是$P_r$和$P_l$。$P$和$P_l$、$P$和$P_r$之间的替换公式为：

$$\begin{gathered} \left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]=P_l=R_{l}P+T_l=R_l\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T_l \\ \left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right]=P_r=R_{r}P+T_r=R_r\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T_r \end{gathered}$$

$P_l$和$p_l$、$P_r$和$p_r$之间的替换公式为：

$$\begin{gathered} \left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=p_l=\frac{1}{Z_l}{K}_{3\times 3}{P}_l=\frac{1}{Z_l}{K}_{3\times 3}\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right] \\ \left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=p_r=\frac{1}{Z_r}{K}_{3\times 3}{P}_r=\frac{1}{Z_r}{K}_{3\times 3}\left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right] \end{gathered}$$

由于structure from motion只能得到相机位移向量$T$同方向的单位向量$u$，所以真实的$T=ku$，其中$k$是一个未知正常数。$P_l$和$P_r$之间的替换公式为：

$$\left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right]=P_r=R{P}_l+T=R\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]+ku$$

通过特征点匹配、光流等得到$p_l$和$p_r$之间的像素位移，可构建等式：
$$\begin{gathered} \left[\begin{array}{c}△x\\ △y\\ 0\end{array}\right]=p_l-p_r=K_{3x3}(\frac{1}{Z_l}\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]-\frac{1}{Z_r}\left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right]) \\ =K_{3x3}(\frac{1}{Z_l}\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]-\frac{1}{f(Z_l)}(R\left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right]+ku)) \\ =K_{3x3}((\frac{1}{Z_l}-\frac{R}{f(Z_l)})\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]-\frac{ku}{f(Z_l)}) \end{gathered}$$

上式为带有4个自变量$X_l$、$Y_l$、 $Z_l$和$k$的三个等式。由于剩下一个自由度，structure from motion只能提取出景物的比例信息。（stereo vision可以确定$k$值，上式便仅有三个自变量$X_l$、 $Y_l$和$Z_l$，因此可以确定景物的尺寸信息。）