机器学习之数学基础(2)—

前言：
线代知识点多，有点抽象，写的时候尽量把这些知识点串起来，如果不行，那就两串。其包含的几大对象为：向量，行列式，矩阵，方程组。

观点

核心问题是求多元方程组的解，核心知识：内积、秩、矩阵求逆，应用：求解线性回归、最小二乘法用QR分解，奇异值分解SVD，主成分分析（PCA）运用可对角化矩阵

向量
基础
向量：是指具有n个互相独立的性质(维度)的对象的表示，向量常使用字母+箭头的形式进行表示，也可以使用几何坐标来表示向量。
单位向量：向量的模、模为一的向量为单位向量
内积又叫数量积、点积：为一个数

image.png

正交向量：内积为零
应用
向量组和特征向量
矩阵

定义：描述线性代数中线性关系的参数，即矩阵是一个线性变换，可以将一些向量转换为另一些向量。 Y=AX表示的是向量X和Y的一种映射关系，其中A是描述这种关系的参数。
Y=AX这个在向量组线型相关中经常见到
直观表示：

image.png

矩阵和向量
当m=1或者n=1的时候，称A为行向量或者列向量
方阵负矩阵，上下三角矩阵对角矩阵单位矩阵
行列式变换会用到三角矩阵
区分单位向量
矩阵的转置

行列式

通常用到的行列式是一个数
行列式是数学的一个函数，可以看作在几何空间中，一个线性变换对“面积”或“体积”的影响。

方阵行列式
n阶方阵A的方阵行列式表示为|A|或者det(A)
代数余子式
：Aij=(-1)(i+j)Mij

image.png
伴随矩阵
为了求矩阵的逆

image.png
方阵的逆
AB=BA=E，那么称B为A的逆矩阵，而A被称为可逆矩阵或非奇异矩阵。如果A不存在逆矩阵，那么A称为奇异矩阵。A的逆矩阵记作：A-1

image.png

矩阵的初等变换

矩阵的初等列变换与初等行变换统称为初等变换．

image.png

行阶梯形矩阵最简矩阵标准行
前者来求变量之间的关系，后者计算矩阵的秩
定理（1）表明，即A 经一系列初等行变换变为B,则有可逆矩阵P,使如何求P？

image.png
矩阵的秩
K阶子式是个行列式

image.png

向量组

向量组：有限个相同维数的行向量或列向量组合成的一个集合就叫做向量组

image.png

向量的线性表示

image.png

转化为方程组为：

image.png

同理：如果向量组B 可由向量组A表示则

image.png

AX=B 有解
线性相关和线性无关

image.png

用秩来判断是否相关

image.png

线性方程组

定理 1：
n 元齐次线性方程组 Ax = 0 有非零解的充要条件是 R(A) < n
推论当 m < n 时，齐次线性方程组一定有非零解
定理 2：
n 元线性方程组 Ax = b
(i) 无解的充要条件是 R(A) < R(A，b) ;
(ii) 有唯一解的充要条件是
R(A) = R(A，b) = n ;
(iii) 有无穷多解的充要条件是
R(A) = R(A，b) < n

解得结构

image.png

image.png

特征值和特征向量

A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A 的特征值，x称为A的对应于特征值λ的特征向量

特征值的性质
(1)n阶方阵A=(aij)的所有特征根λ1、λ2.....λn，则有

image.png

(2)若λ是可逆矩阵A的一个特征根，x为对应的特征向量：则1/λ是矩阵A-1的一个特征根，x仍为对应的特征向量。则λm次方是矩阵Am次方的一个特征根，x仍为对应的特征向量。
(3)设λ1、λ2.....λn是方阵A的互不相同的特征值，xi是λi的特征向量，则 x1,x2...xn线性无关，即不相同特征值的特征向量线性无关