Ax = 0的最小二乘解为ATA的最小特征值对应的特征向量证明

前几天看到的一篇非常不错的博客，转载一下。

问题：证明当||x||=1时，Ax=0的最小二乘解是的最小特征值对应的特征向量。

证明：

        上个命题等同于：的最小特征值所对应的特征向量可使得||Ax||最小。以下分别对x为的特征向量和不为的特征向量这两种情况进行证明。

 情况1:

        若x为的特征向量，则有，可以得到：       

        由上式子可见，取的最小特征值对应的特征向量，可以使得||Ax||最小，最小值是最小特征值。

 情况2:

        若x不是的特征向量，则对A做SVD分解，得到：(奇异值按照降序排列)

        故

         

        又

        

        在SVD分解中，右奇异矩阵V是一组n维的标准正交基：

        

        所以n维向量x能够被这组正交基唯一表示为：

        将式（2）、（3）带进（1）中，可得：

        

        又||x|| = 1，故有：

        

        其中是的最小特征值.

综上：取的最小特征值或者奇异值对应的特征向量可使得Ax=0在||x||=1的条件下得到最优解法。

推广：

         在实际的SLAM系统中，我们通常只能获得||x||≠0这一条件，那么下面这条推论就十分有用了：

        推论：若||Ax||在||x||=1时取得最小值的变量为x∗，则有||Ax||在||x||=μ,μ>0时的最优解为x∗∗=μx∗。

        推论说明了这两个优化问题的解仅相差一个尺度μ，下面为推论的证明：

        由||Ax||在||x||=1时的解的条件我们有：

        

        则当||x||=μ时，有：

       

        即在||x||=μ,μ>0时的最优解。

转载自：Ax=0的最小二乘解 | GWH Blog