机器学习数学基础——线性代数篇

线性代数篇

向量空间

向量空间是定义了加法和数乘这两种运算的集合。

向量及其运算

向量空间中的元素就是向量，每个向量可以用一个n维实数列表表示，$\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]$是列向量$\begin{array}{cccc}{v}_1& v_2& \dots & v_n\end{array}$是行向量

运算：（1）$\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]+\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_n\end{array}\right]=\left[\begin{array}{c}{v}_1+w_1\\ v_2+w_2\\ ⋮\\ v_n+w_n\end{array}\right]$

​ （2）$\lambda \left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]=\left[\begin{array}{c}\lambda v_1\\ \lambda v_2\\ ⋮\\ \lambda v_n\end{array}\right]$,表示向量在空间里的伸缩

向量组的线性组合

若干个同维数的列向量（行向量）组成的集合叫向量组

向量组的线性相关性

内积和范数

内积的定义

内积就是点乘、数量积，对两个向量执行点乘运算，就是对这两个向量对应位置元素一一相乘之后求和。

性质：（$x,y,z$为n为向量，$\lambda$为实数）

​ （1）$x\cdot y=y\cdot x$

​ （2）$(\lambda x)\cdot y=x\cdot (\lambda y)$

​ （3）$(x+y)\cdot z=x\cdot z+y\cdot z$

​ （4）$x^2\ge 0$当且仅当$x=0$时等号成立

在这里我提一下外积，两个向量的外积，又叫叉乘、叉积向量积，其运算结果是一个向量。向量a与b的外积a×b是一个向量，其长度等于|a×b| = |a||b|sin∠(a,b)，其方向正交于a与b。并且，(a,b,a×b)构成右手系。
特别地，0×a = a×0** = 0.此外，对任意向量a，a×a=0。

范数的定义

范数的话了解一下就可以了

内积的几何解释

矩阵和线性变换

线性变换

线性空间中的运动称为线性变换，必须满足两个条件：1>空间中的坐标原点在变换后保持不变 2>变换后向量不能被弯曲

矩阵的相关运算

范德蒙行列式：范德蒙行列式有什么用呢？可以用来进行插值的分析。比如我们平面上有5个点$X_1,X_2,X_3,X_4,X_5$，这时候我们可以认定平面上肯定有一条线可以同时经过这5个点，为什么？这个时候我们就可以假设这个线的方程为$L(\theta )={\theta }_4{X}^4+{\theta }_3{X}^3+{\theta }_2{X}^2+{\theta }_1{X}^1+{\theta }_0{X}^0$用矩阵表示就是$\left(\begin{array}{ccccc}{X}_5^4& X_5^3& X_5^2& X_5& 1\\ X_4^4& X_4^3& X_4^2& X_4& 1\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ X_1^4& X_1^3& X_1^2& 1_5& 1\end{array}\right)\left(\begin{array}{c}{\theta }_4\\ {\theta }_3\\ {\theta }_2\\ {\theta }_1\\ {\theta }_0\end{array}\right)=\left(\begin{array}{c}{y}_5\\ y_4\\ y_3\\ y_2\\ y_1\end{array}\right)$那么只要我们的范德蒙行列式不为零我们就可以求得一组$\theta$来找到一条线经过我们的点

矩阵相乘：$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\cdot \left(\begin{array}{cc}e& f\\ g& h\end{array}\right)=\left(\begin{array}{cc}ae+bg& af+bh\\ ce+dg& cf+dh\end{array}\right)$

矩阵和向量相乘：A为$m\times n$的矩阵，x为$n\times 1$的列向量，则Ax为$m\times 1$的列向量，记$y=Ax$,这个过程实现了从n维空间的点到m维空间点的线性变换，如果m=n则完成了n维空间内的线性变换

矩阵的k阶子式：在$m\times n$矩阵A中，任取k行k列，不改变这$k^2$个元素在A中的次序，得到k阶方阵，成为矩阵A的k阶子式，显然有$C_m^k{C}_n^k$个

矩阵的秩：设在矩阵A中有一个不等于0的r阶子式D，且所有r+1阶子式（若存在）全等于0，则D称为A的最高阶非零子式，r称为A的秩，记作$R(A)=r$

• 我们的可逆矩阵秩为n又称为满秩矩阵
• 矩阵的秩等于它行（列）向量组的秩
• 对于n元线性方程组Ax=b，
  • 无解的充要条件R(A)
  • 有唯一解的充要条件R(A)=R(A,b)=n
  • 有无穷多解的充要条件R(A)=R(A,b)

矩阵转置：把矩阵的行换成有同序数的列得到一个新矩阵叫做A的转置矩阵，记作**$A^T$**

​ 相关公式： （1）$(A^T{)}^T=A$

​ （2）$(A+B{)}^T=A^T+B^T$

​ （3）$(\lambda A{)}^T=\lambda A^T$

​ （4）$(AB{)}^T=B^T{A}^T$

逆矩阵：给定一个n阶方阵A，若存在一n阶方阵B,使得$AB=BA=I_n$,其中$I_n$为n阶单位矩阵，则称矩阵A是可逆的，且B是A的逆矩阵，记作$A^{-1}$

​ 注意：只有方阵才有逆矩阵，当方阵A可逆则称A为非奇异方阵

特征值和特征向量

特征值的性质： 设n阶矩阵$A=(a_{ij})$的特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$则

​ （1）${\lambda }_1+...+{\lambda }_n=a_{11}+...+a_{nn}$

​ （2）${\lambda }_1{\lambda }_2...{\lambda }_n=|A|$

对称矩阵、正交阵、正定矩阵和对角矩阵

对称矩阵
实对称阵不同特征值的特征向量正交

正交阵

若n阶矩阵A满足$A^{T}A=I$称A为正交矩阵，A为正交阵的充要条件：A的列（行）向量都是单位向量且两两正交。若A为正交阵x为向量则Ax称作正交变换，正交变换不改变向量长度

正定矩阵

对角矩阵

只有主对角线上的元素不为零其余元素都为零的矩阵为对角矩阵

相似矩阵和对角化

二次型

总结到一句话就是：最高次为2

任何二次函数都可以用一个矩阵和一个向量相乘的方式来表示

总结

直接看可能还是会有些懵，建议对照着算法中不懂的点一起看，或者作为一个简单的复习来看，希望对你可以有帮助