深度学习之线性代数

深度学习之线性代数

标量

如果你从来没有学过线性代数或机器学习，那么你过去的数学经历可能是一次只想一个数字。如果你曾经用钱买个茶叶蛋，或者在付过打车费，那么你已经知道如何做一些基本的事情，比如在数字间相加或相乘。例如，上海的温度现在为13摄氏度。严格来说，我们称仅包含一个数值的叫 标量 （scalar）。在数学表示法，其中标量变量由普通小写字母表示（例如，x、y 和 z）。我们用 R 表示所有（连续）实数 标量的空间。

向量

你可以将向量视为标量值组成的列表。我们将这些标量值称为向量的 元素（elements）或分量（components）。当我们的向量表示数据集中的样本时，它们的值具有一定的现实意义。例如，如果我们正在训练一个模型来预测贷款违约风险，我们可能会将每个申请人与一个向量相关联，其分量与其收入、工作年限、过往违约次数和其他因素相对应。如果我们正在研究医院患者可能面临的心脏病发作风险，我们可能会用一个向量来表示每个患者，其分量为最近的生命体征、胆固醇水平、每天运动时间等。在数学表示法中，我们通常将向量记为粗体、小写的符号（例如，x、y和z）。

矩阵

正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。矩阵，我们通常用粗体、大写字母来表示（例如，X、Y 和Z）。在数学表示法中，我们使用$A\in R^{m\times n}$来表示矩阵 A ，其由m行和n列的实值标量组成。直观地，我们可以将任意矩阵 $A\in R^{m\times n}$视为一个表格，其中每个元素 $ a_{ij}$ 属于第i行第i列：
[ a 11 a 12 ⋯