一、深度学习之线性代数（基础篇）

今天想分享这段时间我断断续续学习到的一些深度学习知识，请批评指正

---

• 标量、向量、矩阵、张量

1. 标量：单独的数；
2. 向量：纵列，空间中的一点，每个元素是不同坐标轴上的坐标；
3. 矩阵：二维数组，有两个索引；

4. 张量：坐标超过两维的数组，例：；

5. 矩阵转置：以主对角线为轴的镜像，其实是把两个索引颠倒一下，组成新的矩阵；

    

• 矩阵与向量相乘

C = AB

标准乘积不是指两个矩阵中对应元素的乘积

• 范数（衡量一个向量的大小）

0范数：向量中非零元素的个数；

1范数：绝对值之和；

2范数：通常意义上的模；

深度学习中，最常见的做法是使用Frobenius范数，即

两个向量的点积可以用范数来表示：

• 正交矩阵

标准正交：一些向量不但相互正交，而且范数

正交矩阵指行向量和列向量是分别标准正交的矩阵

• 特征分解（方阵）

v：方阵A的特征向量；：与v对应的特征值，更关注右特征向量

Q：A的特征向量组成的正交矩阵；：对角矩阵，diag(),

• 奇异值分解（SVD）

每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。

D:对角矩阵，对角线上的元素为矩阵A的奇异值；U的列向量为左奇异向量；V的列向量为右奇异向量

• Moore-Penrose伪逆

对于非方矩阵而言，其逆矩阵没有定义；

如果矩阵A的行数大于或小于列数，即不是一个方阵：

矩阵A的伪逆定义为：

计算时，使用：

D+：对角矩阵D的伪逆，其非零元素取倒数之后转置得到

END