线性代数基础

标量、向量、矩阵和张量

标量(scalar):斜体表示标量,即一个单独的数,表示是实数集上的一个标量,表示为自然数集上的一个标量.
向量(vector):粗体表示向量,表示为实数集上的一个n维向量,表示向量的第n个元素,不特别说明时向量都表示列向量.
我们约定向量下标从0开始,到n-1结束.并且表示
矩阵(matrix):粗体大写字母表示矩阵,表示是一个在实数集上m行n列的矩阵,表示A中第i行第j列的元素,表示矩阵右下角的元素,表示矩阵第i行(可以认为是一个向量).
张量(tensor):字体表示张量,表示张量中坐标为(i,j,k)的元素.
矩阵转置:用表示的转置
矩阵加法:shape相同的两个矩阵可以相加,,其中,即对应位置元素相加
标量点乘矩阵和矩阵加上标量:,其中
广播:在深度学习中我们允许矩阵和向量相加(前提是矩阵的列数和向量的长度一致),产生一个新的矩阵,操作是让矩阵的每一行与这个向量相加.,其中,这种运算称为广播.

矩阵和向量的乘法运算

矩阵乘积(点乘):若,,则,其中且(即A的第i行和B的第j列做向量点乘的结果)
矩阵元素对应乘积(Hadamard):若,则有,其中
向量点乘:若列向量,则有,其中,出于简化目的我们定义点乘运算
矩阵乘积满足分配率和结合律:

注意矩阵乘法不一定满足交换律
向量乘积满足交换律:

向量乘积的转置:

线性代数表示线性方程组:

其中是参数矩阵,表示未知向量,其中每个元素都是未知的 ,是已知向量,用这种形式可以方便地表示线程方程组.

单位矩阵和逆矩阵

单位矩阵:主对角线上的元素都为1,其余元素都为0的方阵称为n维单位矩阵,记为,.单位矩阵乘以任意向量都不会改变向量的值.

矩阵的逆(默认表示左逆):如果某个矩阵乘以的结果为一个单位矩阵,则称这个矩阵为的逆,记为.即

方阵和奇异矩阵: 如果矩阵,则称为方阵.如果方阵的某两个列向量线性相关(即,其中是矩阵的任意2个列向量),则称这个方阵为奇异矩阵.奇异矩阵无法使用矩阵逆来求解方程
矩阵的右逆:若,则称为矩阵的右逆.对于方阵而言它的左逆和右逆是相等的.

范数(norm)

范数是满足如下性质的任意函数f:

• 
  Lp范数:若,则的p范数
  
  L2范数:又称欧几里得范数,它表示从原点到向量终点的欧几里得距离.我们可以简化地将表示为.
  
  L1范数:L1范数对0和非0元素的差异非常敏感,
  
  最大范数:即范数
  
  Frobenius范数:可以用于衡量矩阵的大小():
  
  向量点乘也可以使用L2范数来计算
  
  其中是和的夹角.

特殊矩阵和向量

对角矩阵: 若,且,则称为对角矩阵.即只有主对角线上存在非0元素的矩阵称为对角矩阵.单位矩阵是一个特殊的对角矩阵.
表示对角线上的元素为向量的对角方阵.对角方阵具有如下性质:

对称矩阵: 若则称为对称矩阵.
单位向量:若,则称为单位向量.
正交向量:若则称和为正交向量.如果这两个向量都有非0范数,则这两个向量的夹角为90°.若这两个向量都是单位向量,则称它们标准正交.
正交矩阵:若方阵行向量和列向量分别标准正交,即则称这个方阵为正交矩阵.正交矩阵具有的性质.

特征分解

定义:将矩阵分解成一组特征向量和特征值.方阵的特征向量指与相乘后相当于对改向量进行缩放的非零向量.即

.其中标量称作这个特征向量对应的特征值.
由于如果是的特征向量,那么也是的特征向量(),所以通常我们只关注矩阵的单位特征向量.
假设矩阵有n个线性无关的特征向量{},对应特征值{}.令矩阵,则的特征分解可以记作
.

`