【矩阵基础与维度分析】【公式细节推导】矩阵非线性最小二乘法泰勒展开

最小二乘法的一般形式

\(f_i\)为某一时刻的误差 比如预测值与预测值的差值

将残差写成向量的形式

和上面的\(F\)相比 每个\(f\)计算的还是某一时刻的误差 将全部的误差求平方再求和 就相当于它的转置乘以它本身 即：

\[F(X) = f^T(X)f(X) \]

所以有如下等式

则它的雅克比矩阵为：

这里每个雅克比矩阵的维度都为\(1 \times n\)

最小二乘泰勒展开

单项展开

整体展开

上述步骤更具体一些
第一行后面到第二行推导：

\[\frac {1}{2}f^Tf + f^TJ\Delta x + (J\Delta x)^Tf + (J\Delta x)^TJ\Delta x = \frac {1}{2}f^Tf + f^TJ\Delta x + \Delta x^T J^Tf + \Delta x^TJ^TJ\Delta x \]

这里进行一下维度分析：
f为某一时刻确定的误差值 所以是标量

\[f:1 \times 1 \]

J参照上面的那个J的维度分析：

\[J: 1 \times n \]

\(\Delta x\)为增加量 这里为列向量

\[\Delta x:n \times 1 \]

所以可得以下结论：

1. \(f\)为标量
2. \(J \Delta x\)为标量
3. \(J^T \Delta x^T\)为标量

所以有：

\[f^TJ\Delta x = (J\Delta x)^Tf = \Delta x^TJ^Tf \]

维度分析对于矩阵运算很重要