矩阵与凸优化(1) 向量

一、向量与向量空间

1.向量：

2.向量空间：关于向量加法和数乘封闭的向量集合，且满足：

（1）向量加法结合律：u + (v + w) = (u + v) + w；

（2）向量加法交换律：v + w = w + v；

（3）向量加法的单位元：V 里有一个叫做零向量的 0，∀ v ∈ V , v + 0 = v；

（4）向量加法的逆元素：∀v∈V, ∃w∈V，使得 v + w = 0；

（5）标量乘法分配于向量加法上：a(v + w) = a v + a w；

（6）标量乘法分配于域加法上: (a + b)v = a v + b v；

（7）标量乘法一致于标量的域乘法: a(b v) = (ab)v；

（8）标量乘法有单位元: 1 v = v, 这里 1 是指域 F 的乘法单位元。

3.向量子空间：设V是一个向量空间，WV，若W关于B的加法、数乘封闭，则W是一个子空间

   四个基本子空间：

（1）列空间：矩阵A的列向量组成的线性空间

（2）行空间：矩阵A的行向量组成的线性空间

（3）零空间：满足的所有向量组成的向量空间

（4）左零空间：满足的所有向量组成的向量空间

二、线性相关与线性无关

1.定义：对于向量空间V中的一组向量、、…、，如果存在一组不全为0的数、、…使得则称这组向量线性相关，否则称为线性无关

2.理解：

角度	线性相关	线性无关
能否互相线性表示	向量组中至少有一个向量可以由其他向量线性表示	向量组中任意向量均不能由其他向量线性表示
齐次线性方程组是否有解	方程组有非零解	方程组只有零解
行列式的值	以,,...,为列(行)向量组的矩阵的行列式等于零	以,,...,为列(行)向量组的矩阵的行列式不等于零
线性表示出另一向量的方式	若向量可以由向量组,,...线性表示,则表示方式有无数种	若向量可以由向量组,,...线性表示,则表示方式唯一

三、基与线性生成空间

1.基：向量空间V中满足线性无关且可以线性表示出向量空间V中任意向量的一组向量，向量的个数即向量空间的维数

某一向量空间的基不是唯一的

基给出了定量描述线性结构的方法

2.给定基下的坐标：设、、…、是线性空间的一个基，对于任意元素,总有且仅有一组有序数、、…、，使，该有序数组称为元素在该基下的坐标

四、向量范数

1.定义：是一种具有长度概念的函数，可以实现向量空间到实数的映射，向量范数用来表征向量空间中向量的大小

2.常用范数：
（1）L-p范数

（2）L0范数

表示向量中非零元素的个数

（3）L1范数（曼哈顿距离、最小绝对误差）

   

表示向量中非零元素的绝对值之和

（4）L2范数（欧式距离）

（5）范数与范数

范数表示向量元素绝对值的最大值

范数用来表示向量元素绝对值的最小值

（）

3.范数在机器学习中的应用

（1）作用：用来规则化参数，包括约束模型特性（如稀疏、低秩、平滑等），防止模型复杂度过高、过拟合、模型参数数目大于训练样本数目等，达到在保证模型简单的基础上最小化训练误差，使模型具有很小的测试误差（泛化能力）

（2）具体使用（以监督学习为例）

监督学习主要实现最小化目标函数，即：

式中第一项用来衡量模型对第i个样本的预测值与实际值（标签）之间的误差，不同的Loss函数具有不同的拟合特性；为参数的规则化函数（一般是模型复杂度单调递增函数）；为超参，用来平衡loss项与规则项，越大表示规则相比训练模型误差更重要

使用L0、L1范数进行规则化，可以使参数变得稀疏化（稀疏化的好处：a.实现特征的自动选择，过滤无用特征 b.简化模型），L1范数因具有比L0范数更好的优化求解特性而被广泛应用（L1范数是L0范数的最优凸近似）

使用L2范数进行规则化，可以改善过拟合，优化求解，使其变得稳定和快速

五、向量内积

1.定义：

2.点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在向量b在向量a方向上的投影

 内积为0的两向量互相正交（垂直）