最优化方法01——向量、线性函数、范数

目录

系列文章目录

一、向量

1.相关概念

2.数域与向量空间

3.线性组合与内积

4.柯西—施瓦茨Cauchy-Schwartzn不等式

二、线性函数

1.内积函数

2.仿射函数 

3.梯度与偏导

4.泰勒公式

4.1 泰勒展开

4.2 一阶泰勒近似

4.3 泰勒展开例题

5.回归模型

3、范数

1.无穷范数（lp范数的特例）

2.lp范数与特殊不等式

3.标准差、均方根

总结

---

系列文章目录

本系列博客重点在深圳大学最优化方法课程的核心内容梳理，参考书目《Introduction to Applied Linear Algebra. Vectors, Matrices, and Least Squares》（有问题欢迎在评论区讨论指出，或直接私信联系我）。

第一章 最优化方法01——向量、线性函数、范数

---

梗概

本篇博客主要介绍最优化方法第一章向量、线性函数、范数的相关知识。

---

一、向量

1.相关概念

向量：一个有序的数字列表（数字是元素（分类、项、系数））

Tips：默认列向量，索引从1开始

块向量：向量的每个元素是一个向量，维度为所有向量维度相加

单位向量：只有一项为1，其他全0（ei为第i项为1的单位向量）

稀疏：一个向量许多项都是0

2.数域与向量空间

向量空间(线性空间)需要满足以下两个重要条件：

3.线性组合与内积

常用的内积等式如下：

4.柯西—施瓦茨Cauchy-Schwartzn不等式

二、线性函数

线性函数：一个将n维向量映射成数的函数

Tips：max不是线性函数（不满足叠加性）。

1.内积函数

Tips：内积函数都是线性的。

Tips：所有线性函数都是（可表示）内积。 

2.仿射函数 

仿射函数：线性函数加上一个常数

3.梯度与偏导

4.泰勒公式

4.1 泰勒展开

4.2 一阶泰勒近似

Tips：应用时使用内积形式

4.3 泰勒展开例题

5.回归模型

3、范数

2范数的条件证明（三角不等式的证明重要）

1.无穷范数（lp范数的特例）

不同范数在同一空间的几何意义示例如下：

2.lp范数与特殊不等式

3.标准差、均方根

总结

以上便是最优化方法第一章——向量、线性函数、范数的相关知识。