深度学习（Deep Learning）学习笔记（一）

深度学习（Deep Learning）学习笔记（一）

一、线性代数

1.1 标量、向量、张量

标量（scalar）：单独的数；斜体小写表示；
向量（vector）：有排列顺序的一列数；粗体小写表示；索引时用$x_1$表示向量$x$中第一个数；$x_{-}1$表示除去第一个数的向量$x$中所有数
矩阵（matrix）：二维数组；粗体大写表示；索引时用$A_{1,1}$表示矩阵$A$中第一行第一列的数
张量（tensor）：若干维数组；索引时用$A_{i,j,k}$

转置（transpose）：行变成列，列变成行

1.2 矩阵和向量相乘

矩阵乘积（matrix product）：$C=AB$；$A$的列数必须与$B$的行数相等
元素对应乘积（element-wise product）/Hadamard乘积（Hadamard product）：两个矩阵中对应元素的乘积；记做$A⨀B$
点积（dot product）：向量$x$和$y$的点积可以看做是矩阵乘积$x^{T}y$

1.3 单位矩阵和逆矩阵

单位矩阵（identity matrix）：记做$I_n$；任意向量和单位矩阵相乘都不变
逆矩阵（matrix inverse)：记做$A^{-1}$；$A^{-1}A=I_n$