线性代数基础（矩阵、范数、正交、特征值分解、奇异值分解、迹运算）

目录

基础概念

矩阵转置

对角矩阵

线性相关

范数

正交

特征值分解

奇异值分解

Moore-Penrose 伪逆

迹运算

行列式

---

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

基础概念

• 标量：一个标量就是一个单独的数字
• 向量：一个向量就是一列数字
• 矩阵：一个矩阵就是一个二维数组
• 张量：超过两维的数组，一个数组的元素分布在若干维坐标系中

矩阵转置

矩阵左上角到右下角的对角线被称作主对角线，以主对角线为轴的镜像称作矩阵的转置。

矩阵  的转置表示为  ：

对角矩阵

 表示一个对角元素由向量  中元素给定的对角矩阵。

对角矩阵除了主对角线上的元素外，其余元素都为零。

线性相关

一组向量的生成子空间，是原始向量线性组合后所能抵达的点的集合。

如果一组向量中，任意一个向量都不能表示成其他向量的线性组合，那么这组向量就是线性无关的。

如果一组向量中，存在一个向量可以表示成其他向量的线性组合，那么这种冗余被称为线性相关。

范数

范数可以衡量向量的大小，范数是将向量映射到非负值的函数， 定义如下：

 的范数被称为欧几里得范数，平方  可以通过  求得。

 范数被称为最大范数，表示向量中具有最大幅值的元素的绝对值：

Frobenius 范数，可以衡量矩阵的大小：

两个向量的点积可以用范数表示：

正交

如果  ，那么向量  和向量  互相正交。

如果两个向量不仅正交，而且范数都为  ，那么称他们为标准正交。

正交矩阵是指行向量和列向量是分别标准正交的方阵。

特征值分解

方阵  的特征向量是指与  相乘后等于该向量进行缩放的非零向量  ， 称为特征值：

将所有线性无关的特征向量按列组成一个矩阵  ，特征值组成一个向量  ，则满足  的特征分解：

所有特征值都是正数的矩阵被称为正定。

所有特征值都是非负数的矩阵被称为半正定。

所有特征是都是负数的矩阵被称为负定。

所有特征值都是非正数的矩阵被称为半负定。

奇异值分解

奇异值分解（SVD）将矩阵分解成奇异向量和奇异值。

每一个实数矩阵都有一个奇异值分解，但不一定有特征值分解。

假设  是一个  矩阵， 是一个  矩阵， 是一个  矩阵， 是一个  矩阵：

 和  都是正交矩阵， 是对角矩阵。

 对角线上的元素称为奇异值， 的列向量称为左奇异向量， 的列向量称为右奇异向量。

左奇异向量是  的特征向量。

右奇异向量是  的特征向量。

非零奇异值是  或者  特征值的平方根。

Moore-Penrose 伪逆

对于非方矩阵而言，其逆矩阵没有定义，可以采用伪逆计算：

其中， 是奇异值分解后的矩阵， 是  的非零元素取倒数之后再转置得到的。

迹运算

迹运算返回矩阵对角线元素之和：

Frobenius 范数，也可表示为：

迹运算满足一些性质：

行列式

行列式  等于矩阵特征值的乘积。

行列式的绝对值可以用来衡量矩阵参与乘法后空间扩大或者缩小了多少。

---

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~