数学基础

一、矩阵知识 

1. 常见n阶方阵:零矩阵(O)、单位矩阵I(主对角线为1,其余元素为零)、对角矩阵(除主对角线元素不为零,其他元素均为零:diag)、转置矩阵(矩阵A的行换成同序数的列:A^{T})、对称矩阵(对角线为对称轴对称的元素相等:A=A^{T})、逆矩阵(n阶方阵A和B存在:AB=BA=I,A^{-1})、奇异矩阵(矩阵A行列式为0)、行列式伴随矩阵(A^{*})、奇异矩阵。

(1)行列式:只有n阶矩阵存在行列式,计算如下:det\left ( A \right )=\left | A \right |=\sum_{k=1}^{n}a_{1k}\left ( -1 \right )^{1+k}detS_{1k}

(2)矩阵的代数余子式:A_{ij}=\left ( -1 \right )^{i+j}detS_{1k}

(3)伴随矩阵A^{*}:存在方阵A=\left ( a_{ij} \right )_{n\times n},则矩阵A^{*}=\left ( A_{ij} \right )_{n\times n}称为矩阵A的伴随矩阵

                                                                          A^{*}=\begin{bmatrix} A_{11} & A_{21} &... &A_{n1} \\ A_{12} & A_{22} & ...&A_{n2} \\ . & . &. &.\\ A_{1n} & A_{2n} & ... & A_{nn} \end{bmatrix}_{n\times n}

(4)奇异矩阵:n阶方阵的行列式为零的矩阵,即\left | A \right |=0

                      \left | A \right |\neq 0A可逆是充分必要条件,即可逆矩阵就是非奇异矩阵。

(5)矩阵的秩:对m\times n矩阵A,称其一切非退化方子阵的最高阶数k为矩阵A的秩,记为r\left ( A \right ),其中r\left ( O \right )=0

                      换句话说就是找到行列式不为零的最大n阶方阵,则矩阵的秩为r\left ( A \right )=n,存在着行满秩阵,列慢秩阵,满秩阵。

(6)行列式性质:\left | A^{T} \right |=\left | A\right |\left | \lambda A \right |=\lambda ^{n}\left | A \right |\left | AB \right |=\left | BA \right |=\left | A \right |\left | B \right |AA^{*}=A^{*}A=\left |A \right |E

(7)转置矩阵性质:\left ( A+B \right )^{T}=A^{T}+B^{T},\left ( AB \right ) ^{T}=B^{T} A^{T}

(8)逆矩阵性质:\left ( A^{-1} \right )^{T}=\left ( A^{T} \right )^{-1},\left ( AB\right )^{-1} =B^{-1}A^{-1}A^{-1}=A^{*}/\left | A \right |\left (A^{*} \right )^{-1}=\left ( A^{-1} \right )^{*}

                        n阶方阵只有一个逆矩阵,行列式不为零则方阵可逆,且说明该矩阵满秩;

                        n阶可逆矩阵,行列式不为0,各列向量线性无关。

(9)矩阵的秩性质:r\left ( A \right )=r\left ( A^{T} \right );任一m\times n矩阵A经有限次行初等变换后秩不变;满秩矩阵乘任一矩阵,不改变其秩。

(10)线性方程:线性方程组中系数组成的矩阵A=\left ( a_{ij} \right )_{m\times n}称为系数矩阵;齐次Ax=0(非零解(无穷多解),零解(唯一解));

                        非齐次Ax=b(无解,多解,唯一解); 增广矩阵:针对非齐次方程。

(11)系数矩阵、行列式和矩阵秩关系:

      A. 对于非齐次线性方程组,用矩阵的秩r\left ( A \right )来判断
           如果系数矩阵的秩r\left ( A \right )小于增广矩阵的秩r\left ( A ,b\right )r\left ( A\right )< r\left ( A ,b\right ),那么方程组无解; 
           如果系统矩阵的秩r\left ( A \right )小于方程组未知数个数nr\left ( A\right )= r\left ( A ,b\right )< n,那么方程组有多个解;
           如果系统矩阵的秩r\left ( A \right )等于方程组未知数个数nr\left ( A\right )= r\left ( A ,b\right )= n,那么方程组有唯一解。

      B. 对于齐次线性方程组,用行列式的值 det\left ( A \right )来判断。(不存在无解的情况)
          如果det\left ( A \right )= 0,即系数矩阵降秩,则有非零解(无穷多个解);
          如果det\left ( A \right )\neq 0,即系数矩阵满秩,则只有零解(只有唯一解)。

(12)梯度矩阵:标量y对矩阵X_{m\times n}的导数,可以得到梯度矩阵,即为:

                                \frac{\mathrm{dy} }{\mathrm{d} X}=\left ( \frac{\partial y}{\partial x_{ij}} \right )_{m\times n}=\begin{bmatrix} \frac{\partial y}{\partial x_{11}} &\frac{\partial y}{\partial x_{12}} & ... &\frac{\partial y}{\partial x_{1n}} \\ \frac{\partial y}{\partial x_{21}}&\frac{\partial y}{\partial x_{22}} &... &\frac{\partial y}{\partial x_{2n}} \\ ...& ... &... &... \\ \frac{\partial y}{\partial x_{m1}} & \frac{\partial y}{\partial x_{m2}}& ... & \frac{\partial y}{\partial x_{mn}} \end{bmatrix}

2.矩阵函数

(1)矩阵值函数:如果一个矩阵A\left ( x \right )_{m\times n}的每个元素a\left ( x \right )_{ij}都属于实数范围\left ( a,b \right )内,则此矩阵A\left ( x \right )_{m\times n}称为矩阵值函数。

                         一般记A\left ( x \right )_{m\times n}是实数区间\left ( a,b \right )m\times n阶矩阵值函数,矩阵值函数中每个元素都满足:a\left ( x \right )_{ij}\in \left ( a,b \right )

(2)矩阵函数:如果一个函数的定义域和值域都是方阵,则此函数称为矩阵函数

(3)矩阵值函数求导:有矩阵值函数A\left ( x \right )B\left ( x \right ),记为A,B,用符号d(A)表示对矩阵值函数A进行x求导。

                                 \frac{\mathrm{d}A\left ( x \right ) }{\mathrm{d} x}=0\frac{\mathrm{d}\left ( A+B \right )}{\mathrm{d} x}=\frac{\mathrm{d} A}{\mathrm{d} x}+\frac{\mathrm{d} B}{\mathrm{d} x}\frac{\mathrm{d} \left ( AB \right )}{\mathrm{d} x}=\frac{\mathrm{d} A }{\mathrm{d} x}B+A\frac{\mathrm{d} B }{\mathrm{d} x}

(4)梯度矩阵:多元函数f(X)对矩阵X求导,仍得到相同大小的矩阵。

(5)矩阵对标量x的求导:矩阵A\left ( x \right )_{m\times n}的每个元素分别对标量x求导,即\frac{\mathrm{d} A}{\mathrm{d} x}=\frac{\partial a_{ij}}{\partial x},i=1,2,...,m;j=1,2,...n

                                                                      \frac{\mathrm{d} A}{\mathrm{d} x}=\begin{bmatrix} \frac{\partial a_{11}}{\partial x} & \frac{\partial a_{12}}{\partial x} & ... & \frac{\partial a_{1n}}{\partial x}\\ \frac{\partial a_{21}}{\partial x} & \frac{\partial a_{22}}{\partial x} & ...&\frac{\partial a_{2n}}{\partial x} \\ ...& ... & ... &... \\ \frac{\partial a_{m1}}{\partial x}& \frac{\partial a_{m1}}{\partial x} & ... & \frac{\partial a_{mn}}{\partial x} \end{bmatrix}_{m\times n}

(6)向量Y对向量X的求导:Y=\left ( y_{1},y_{2},...,y_{m} \right ),X=\left ( x_{1},x_{2},...,x_{n} \right )\frac{\mathrm{d} Y}{\mathrm{d} X}=\left ( \frac{\partial y_{i}}{\partial x_{j}}\right )_{m\times n},i=1,2,...,m;j=1,2,...,n

                                                                        \frac{\mathrm{d} Y}{\mathrm{d} X}=\begin{bmatrix} \frac{\partial y_{1}}{\partial x_{1}} &\frac{\partial y_{1}}{\partial x_{2}} &... &\frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} &\frac{\partial y_{2}}{\partial x_{2}} &... &\frac{\partial y_{2}}{\partial x_{n}} \\ ... & ...&... & ...\\ \frac{\partial y_{m}}{\partial x_{1}} & \frac{\partial y_{m}}{\partial x_{2}} & ... & \frac{\partial y_{m}}{\partial x_{n}} \end{bmatrix}_{m\times n}

(7)矩阵Y关于向量X的求导:Y= \left ( y_{ij} \right )_{m\times n}对向量X=x_{k},k=1,2,..,n\frac{\mathrm{d} Y}{\mathrm{d} X}= \left ( \frac{\partial y_{ij}}{\partial x_{j}} \right )_{m\times n},i=1,2,...,m;j=1,2,...,n

                                                                        \frac{\mathrm{d} Y}{\mathrm{d} X}=\begin{bmatrix} \frac{\partial y_{11}}{\partial x_{1}} &\frac{\partial y_{12}}{\partial x_{2}} &... &\frac{\partial y_{1n}}{\partial x_{n}} \\ \frac{\partial y_{21}}{\partial x_{1}} &\frac{\partial y_{22}}{\partial x_{2}} &... &\frac{\partial y_{2n}}{\partial x_{n}} \\ ... & ...&... & ...\\ \frac{\partial y_{m1}}{\partial x_{1}} & \frac{\partial y_{m2}}{\partial x_{2}} & ... & \frac{\partial y_{mn}}{\partial x_{n}} \end{bmatrix}_{m\times n}

3. 矩阵的迹

 (1) 概念:存在方阵A=\left ( a_{ij} \right )_{n\times n},其主对角线上的所有元素之和。称为此方阵的迹,记为tr\left ( A \right )

                                                                             tr\left ( A \right )=\sum_{i=1}^{n}a_{ii}

其中n阶方阵A的迹tr\left ( A \right )等于方阵A的所有特征值之和。

关系:矩阵的特征值之积等于矩阵的行列式;矩阵的特征值之和等于矩阵的迹。

(2) 迹的性质

A.定理: tr\left ( AB \right )=tr\left ( BA \right );    tr\left ( ABC \right )=tr\left (CAB \right )=tr\left ( BCA \right );    tr\left ( A \right )=tr\left ( A^{T} \right )

B.定理:AB矩阵乘函数的迹对A求导 结果等于矩阵B的转置,即\frac{\partial tr\left ( AB \right )}{\partial A}=\frac{\partial tr\left ( BA \right )}{\partial A}=B^{T}     \left ( A_{m\times n},B \right_{n\times m} )

同时存在:\frac{\partial tr\left ( A^{T}B \right )}{\partial A}=\frac{\partial tr\left ( BA ^{T}\right )}{\partial A}=B        \left ( A_{m\times n},B \right_{n\times m} )(标量对矩阵求偏导等于变量单独对矩阵每一个元素求偏导)

C.定理:矩阵A的迹对矩阵A自己求导等于单位矩阵I。记为\frac{\partial tr\left ( A \right )}{\partial A}=I

D.定理:\frac{\partial tr\left ( A^{T}XB^{T}\right )}{\partial X}=\frac{\partial tr\left ( BX^{T}A \right )}{\partial X}=AB;\frac{\partial tr\left ( AXBX^{T} \right )}{\partial X}=AXB+A^{T}XB^{T}

 

你可能感兴趣的:(数学基础)