深度学习数学基础学习笔记——线性代数(持续更新中)

该笔记只是记录我现在不太熟悉的知识点。

1.矩阵相乘

    记分别为mxn和nxp的矩阵。

    两个矩阵中对应元素的乘积称为元素对应乘积或者Hadamard乘积，记为，而要求和的维数相同。深度学习里面常用到这个运算，之前在论文里面有看到这个符号。

    而标准乘积，，得到的是一个mxp的矩阵。

2.标量、向量、矩阵和张量

    张量就是多位数组，用“阶”表示张量的维度。

    python用[]创建列表，元素之间用逗号隔开。判断张量是几阶的，就通过张量右边的方括号数。例如t=[[[...]]]为三阶张量。

    基于tensorflow的神经网络是用张量表示数据，用计算图搭建神经网络，用绘画执行计算图。这些会在tensorflow的笔记里面专门介绍。

3.范数

衡量一个向量的大小用范数。范数定义如下：

,其中.

但p=2时，称为欧几里得范数（Euclidean norm）。

当机器学习问题中零和非零元素之间差异非常重要时，通常会使用范数。

另一个经常在机器学习中出现的范数是范数，也被称为最大范数（max norm）。,这个范数表示

一般提及二范数，会分向量还是矩阵。向量的二范数就是我们熟悉的根号下的内积；矩阵的二范数就是根号下自己的转置乘自己得到的那个矩阵的谱半径（这个矩阵的所有特征值最大的那个）。自己的转置乘以自己就有点像内积的意味，其实和向量很像的，这样就很好记了。

 

 

衡量矩阵的大小，在深度学习中，最常见的做法是使用Frobenius范数：