向量笔记

【内容主要来自《深度学习》】

基本数据类型

• 标量（scalar） ：即一个数值，是计算的最小单元。
• 向量（vector）：向量是由多个标量数据构成的一维数组，通过下标索引来获取每一个元素。
• 矩阵（matrix）：由标量数据获取的二维数组，通过行列下标获取矩阵中的元素。
• 张量（tensor) ：能够表示任意维度的数据类型。

线性相关与向量空间

给定向量组A:,对于任意一组实数

向量空间：

线性相关：存在一组不全为0的实数使得：

成立，向量组A线性相关的，反之，称向量组A线性无关。

向量组的秩：设有向量组A:，如果能选出r个子向量构成的子向量组,满足：

• 线性无关。
• 向量A的任意（r+1)个向量构成的字向量组都是线性相关的。

那么，称子向量组是向量组A的一个最大线性无关向量组，最大线性无关处理组包含的向量个数r称为向量组A的秩。

向量组 矩阵--等价关系

矩阵的行秩=矩阵行向量组的秩

列秩=列向量组的秩

行秩=列秩=秩 rank(最后化简看的同一主元数目)

范数（norm）

向量范数

在泛函分析中，向量范数是衡量向量大小的一种度量方式。在形式上，向量范数是一个定义域为任意线性空间向量的函数，它把一个向量v映射为一个非负实数值R，即满足

从几何角度来说，向量x的范数是度量从原点O到点x的距离。从广义角度来说，对于任意一个，只要满足以下三个条件计科称为范数：

• 非负性，
• 三角不等式性：
• 齐次性：

在机器学习中，特别在模型优化时，范数是正则化的主要手段，用来衡量模型的复杂度。其中，最常用的是p范数，

p-范数的定义如下

• 0范数：向量中非零元素的个数（special）
• 1范数：绝对值范数，大小等于向量的每个元素的绝对值之和。（范数单位圆--菱形）
• 2范数： 也被称为欧几里得范数，它的大小表示从原点到当前点的欧几里得距离。（范数单位圆--圆）

单位范数圆.jpg

• 范数：也被称为最大范数，是向量中每个元素绝对值的最大值。