【线性代数】矩阵的基本概念和运算性质

矩阵的基本概念及其意义以及常见的 特殊矩阵

什么是矩阵

m行n列矩阵

方阵

当m=n时，成为方阵

列向量

一行数，即m=1

行向量

一列数，即n=1

两个矩阵相等

1.两个矩阵的行和列都相同
2.对应位置的元素也要相同

零矩阵

每个元素都是0

对角矩阵

记作：

单位矩阵

是特殊的对角矩阵，一般记作$E$ or $I$

一种线性变换

从一个${\mathbb{R}}^n$空间映射到$R^m$空间。

矩阵的加减法数乘以及性质

加减法的前提条件：A和B矩阵在维度上相同（行列数相同）
注意：
$C=A+B$
$C_{m\times n}$
$\mu ,\lambda \in R$

矩阵的乘法以及性质

①A矩阵的行列 $m\times s$ B矩阵的 $s\times n$，即A的s列等于B的s行才能相乘
$$A_{m\times s}\times B_{s\times n}=C_{m\times n}$$

矩阵运算以及在深度学习中的应用

这是一图，我们人类看是这样的
在这里插入图片描述

（左图是我们人类可以识别的“1”，右图是电脑可以识别的矩阵列-1414）
为计算方便，我们这里假设图片是1010=100维的一个向量
长这样

将矩阵做一个特征空间变换，如下图
我们有一个10*10=100维的一个向量，经过W1（100*512）变换得到Y向量（512维）

补充：ReLU激活函数：简单之美

softmax 变换函数 Sigmod/Softmax变换
提一点：softmax函数将任意n维的实值向量转换为取值范围在(0,1)之间的n维实值向量，并且总和为1
经过softmax变换过后，实际上是将0-9这10个数字分类，得到每一个类别的概率，谁大归为谁！

矩阵的迹，矩阵的转置，对称矩阵（协方差矩阵）

矩阵的迹：主对角线元素之和
$$tr(A)=\Sigma a_{ii}$$
两个矩阵不满足交换律，但是
$$tr(AB)=tr(BA)$$
矩阵的转置：
行——>列
列——>行
记作
$$A^T$$

性质：

对称矩阵
定义：设A为$n$阶方阵，如果满足$A^T=A$，即$a_{ij}=a_{ji}$
性质：它的元素以对角线为对称轴对应相等。单位矩阵、对角矩阵都是对称阵
协方差矩阵
定义：它的定义来自于，N个样本，每个样本的特征维度为n
$$X=(x_1^T,,,,x_N^T{)}_{N\ast n}^T$$
$$X^T=(X_1,X_2,,,,,X_N{)}_{n\ast N}$$
$$X^T{X}_{n\ast n}$$为样本N的协方差矩阵
协方差矩阵就是对称阵