BA的一个直观解释

光束平差法由Bundle Adjustment翻译得来，有两层意思：
对场景中任意三维点P，由从每个视图所对应的的摄像机的光心发射出来并经过图像中P对应的像素后的光线，都将交于P这一点，对于所有三维点，则形成相当多的光束（bundle）；实际过程中由于噪声等存在，每条光线几乎不可能汇聚与一点，因此在求解过程中，需要不断对待求信息进行调整（adjustment），来使得最终光线能交于点P。对m帧，每帧含N个特征点的目标函数如下：

其中：x˜表示受白噪声影响的估计二维点坐标，π为投影函数，如果点j出现在图i上，则θ=1，否则θ_{ij}=0。
这是一个非凸问题。
式子（1）表示对所有点
以上便是光束平差法目标函数的原理。由于场景中特征点往往较多，该问题是一个巨大的高维非线性优化问题。接下来，需要对上述式子进行求解，这是光束平差法的核心内容。
针对具体应用场景，光束平差法有不同收敛方法。目前常用的方法有梯度下降法，牛顿法，高斯牛顿法，Levenber-Marquardt等方法。

一个直观的图如下所示：

BA.png

• 其实第一次投影指的就是相机在拍照的时候三维空间点投影到图像上
• 然后我们利用这些图像对一些特征点进行三角定位（triangulation），利用几何信息（对极几何） 构建三角形来确定三维空间点的位置
• 最后利用我们计算得到的三维点的坐标（注意不是真实的）和我们计算得到的相机位姿（当然也不是真实的）进行第二次投影，也就是重投影。

重投影误差：指的真实三维空间点在图像平面上的投影（也就是图像上的像素点）和重投影（其实是用我们的计算值得到的虚拟的像素点）的差值，

因为种种原因计算得到的值和实际情况不会完全相符，也就是这个差值不可能恰好为0，此时也就需要将这些差值的和最小化获取最优的相机位姿参数及三维空间点的坐标。

参考链接1
参考链接2