深度学习（花书）笔记1

第一章 引言

1. 20世纪 40到60年代 控制论 cybernetics

2. 20世纪 80到90年代 联结主义 connectionism

3. 2006年 深度学习

第一部分 应用数学与机器学习基础

第二章 线性代数

2.1 标量 向量 矩阵 和张量

• 标量 一个单独的数 scalar
• 向量 一列数 vector
• 矩阵 二维数组 matrix
• 张量 多维数组 tensor

2.2 矩阵和向量相乘

矩阵乘法的基础 是 A的列必须等于B的行–星乘
矩阵的点乘就是 AB 各个元素分别相乘，需要两个矩阵元素个数一样
矩阵和向量乘积一般 表示为 Ax = b

2.3 单位矩阵和逆矩阵

2.4 线性相关和生成子空间

一大堆概念 ，需要自己去回忆下 ：

• 线性相关和线性无关linearly dependence & linear independent
• 列空间 column space
• 生成子空间 span

2.5 范数

范数 --norm

$L^2$ 被称为欧几里得范数 --Euclidean norm

Frobenius 范数

2.6 特殊类型的矩阵和向量

• 对角矩阵 diagonal matrix–只在对角上含有非零元素，其他位置为零
• 对称矩阵 symmetric–转置和自身相等
• 单位向量 unit vector 是具有单位 范数(unit norm) 的向量
• 正交 $x^{t}y=0$ – orthogonal
• 正交矩阵 orthogonal matrix $A^{T}A=A{A}^T=I$

2.7 特征分解

eigendecomposition

特征分解 --将矩阵分解成一组特征向量 eigenvector 和特征值 eigenvalue
$Av=\lambda v$ v 是特征向量 λ是特征值
正定 --所有特征值都是正数
半正定 --所有特征值都是非负数
负定 --所有特征值都是负数
半负定 --所有特征值都是非正数

2.8 奇异值分解

singular value decomposition, SVD
奇异值分解 --将矩阵分解成奇异向量 singular vector 和奇异值 singular value
SVD 最有用的一个性质可能是拓展矩阵求逆到非方矩阵上
讲A分解为三个矩阵的乘积：
$A=UD{V}^T$矩阵，U是一个mxm的矩阵 ,D是一个mxn的矩阵 V 是一个nxn的矩阵
U和V定义为正交矩阵，D定义为对角矩阵
对角矩阵D对角线上的元素称为矩阵A 的奇异值

2.9 Moore-Penrose 伪逆

$Ax=y$等式两边乘以A的左逆B得到
$x=By$
如果矩阵A的行数大于列数，上述方程可能没有解
如果A的行数小于列数，可能有多个解
矩阵A的伪逆一般用下面的公式：
$A^{+}=V{D}^{+}{U}^{+}$
其中，U D V 是矩阵A奇异值分解后得到的矩阵

2.10 迹运算

迹运算 返回矩阵对角元素的和：
Tr(a) = $\sum A_i{,}_i$

2.11 行列式

行列式 det(A) 表示矩阵特征值的积
行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少