深度学习笔记（二）第二章 线性代数

标量（Scalars）
矢量（Vector）
矩阵（matrix）
矩阵和矢量乘法
C=AB 2.4

Hadamard积

A(B + C) = AB + AC 2.6
A(BC) = (AB)C 2.7


单位矩阵

单位矩阵和矩阵的逆
线性依赖和空间（span）
解决公式2.11是否有解的问题。
一个有线性依赖的方阵叫奇异矩阵。
范数（norms）

p=2时叫欧几里得范数 ||x||
p=1时也很重要
p=max时也很重要
弗罗贝尼乌斯范数

特殊的矩阵和矢量
对角线矩阵 D
对称矩阵 A
单位矢量 ||x||= 1 2.36
正交矩阵 Q
正交矩阵表示一

正交矩阵表示二

特征分解

奇异值分解（SVD）

U和V都是正交矩阵，D是对角线矩阵，D可以不是方阵

广义逆矩阵（Moore-Penrose）

UDV是A的奇异值分解 D+是D的倒置矩阵且对角线值为倒数的矩阵
它可以计算最小欧几里得范数的解；
如果A的行比列多，那么可能无解，它计算的是最接近欧几里得范数的x值；

Tr操作符

行列式（Determinant）

应用实例：PCA 主要元素分析（比如葡萄酒的例子）