线性最小二乘法原理推导

给定多组特征值与其对应的观测量情况下，求解系数A使式1值最小。
$$f(x)=\sum _{j=0}^{n-1}{a}_j{x}^j\text{\hspace{1em}(0)}$$

$$E_{LS}=\sum _i|\sum _{j=0}^{n-1}{a}_j{x}_i^j-y_i{|}^2=\sum _i|A{x}_i-y_i{|}^2=\Vert XA-Y{\Vert }^2\text{\hspace{1em}(1)}$$
其中A表示未知参数，向量模平方等价于向量內积，即
$$E_{LS}=(XA-Y{)}^T(XA-Y)\text{\hspace{1em}(2)}$$
方式一：
对A求微分，并根据微分与导数关系可得式3，式4，如下：
$$\begin{gathered} dE=(XdA{)}^T(XA-Y)+(XA-Y{)}^T(XdA) \\ =2(XA-Y{)}^T(XdA)\text{\hspace{1em}(3)} \end{gathered}$$
$$dE=\frac{\delta E^T}{\delta A}dA\text{\hspace{1em}(4)}$$
综合式3与式4，可得对A偏导如式5
$$\frac{\delta E}{\delta A}=2((XA-Y{)}^{T}X{)}^T\text{\hspace{1em}(5)}$$
最后，由于最小平方差和对应着偏导数为0，由式5可得系数A
$$A=(X^{T}X{)}^{-1}{X}^{T}Y\text{\hspace{1em}(6)}$$

方式二：
$$\begin{gathered} E_{LS}=A^T{X}^{T}XA-Y^{T}XA-A^T{X}^{T}Y+Y^{T}Y \\ =A^T{X}^{T}XA-2A^T{X}^{T}Y+Y^{T}Y\text{\hspace{1em}(7)} \end{gathered}$$
$$\frac{\delta E}{\delta A}=2X^{T}XA-2X^{T}Y=0\text{\hspace{1em}(8)}$$
$$A=(X^{T}X{)}^{-1}{X}^{T}Y\text{\hspace{1em}(9)}$$