矩阵定理复习记录

矩阵复习

矩阵导数定理

若A是一个如下矩阵：
$$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$
y是一个向量矩阵：
$$y=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$$
则可得 text 定理：
$$\frac{\delta A\ast y}{\delta y}=A^T$$
$$\frac{\delta y^T\ast A}{\delta y}=\frac{\delta A^T\ast y}{\delta y}=A$$
也就是对A*y的矩阵，求偏导y，结果为A的转置矩阵；

还可得另一个定理：
$$\frac{\delta y^T\ast Ay}{\delta y}=Ay+A^{T}y$$
若A是一个对称矩阵，也就是$A^T=A$，则上面的还会等于
$$2Ay$$

δ符号表示求导，$y表示一个向量$

这部分的推导过程可参考此篇视频

矩阵平方定理

若矩阵A满足相乘原则，则有定理：
$$A^2=A^T\ast A$$

单位矩阵

是一种恒等矩阵，对角线上全为1，其余全为0，如下：
I = [ 1 0 0 0 1 0 0 0 1 ] I = \begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix} I= ​100​010​001​ ​
任何矩阵与单位矩阵相乘等于本身：
$$A\ast I=I\ast A=A$$

逆矩阵

注意逆矩阵不是转置矩阵，若两个矩阵A和B,n*n的方阵，且满足：
$$A\ast B=I$$
也就是矩阵相乘等于单位矩阵，也说明A就是B的逆矩阵，A是可逆的，记：B=A^-1

最小二乘法

若输入量为$x_1,x_2...x_n$，输出量为$y_1,y_2...y_n$，为了你和一条函数曲线，是的输入为$x_i$，输出为$y_i$，我们假定它是一个多项式函数如$y_i=a{x}_i^2+b{x}_i+c$，x和y都有观察数据，求$a,b,c$，因为数据又多组，带入矩阵中运算：
[ x 1 2 x 1 1 x 2 2 x 2 1 . . . . . . . . . x n 2 x n 2 1 ] [ a b c ] = [ y 1 y 2 . . . y n ] \begin{bmatrix}x_1^2 & x_1&1\\x_2^2&x_2&1\\...&...&...\\x_n^2&x_n^2&1\end{bmatrix}\begin{bmatrix}a\\b\\c\end{bmatrix}= \begin{bmatrix}y_1\\y_2\\...\\y_n\end{bmatrix} ​x12​x22​...xn2​​x1​x2​...xn2​​11...1​ ​ ​abc​ ​= ​y1​y2​...yn​​ ​
进而用X，A，Y替换：
$$X\ast A=Y$$
A矩阵就是我们要求取的未知参数，往往信号观察是在由噪声的环境中的，假设噪声为V，且噪声的均值为0，也就是正和负噪声，则推导公式：
$$X\ast A=Y+V$$
为了使误差最小，使用最小二乘法，二乘差值平方，也就是：
$$(Y-X\ast A{)}^2=(Y-X\ast A{)}^T(Y-X\ast A)$$
对上面的式子A求偏导：
$$\frac{\delta (Y-X\ast A{)}^T(Y-X\ast A)}{\delta A}$$
推导过程可参考此视频最小二乘法讲解，求出后领偏导函数等于0求极值，也就是误差最小值，得到定理:
$$A=(X^{T}X{)}^{-1}{X}^{T}Y$$