最优化方法02——优化问题引入、线性组合、正交化

目录

系列文章目录

一、优化问题

1.渐近记号 — o记号（高阶无穷小）

2.必要条件

3.凸集与凸函数

3.1 凸集

3.2 凸函数

4.向量偏导

​5.优化问题样例

6.聚类与K-means

6.1 聚类

6.2 K-means

二、线性组合与线性相关

1.线性相关

2.线性无关

3.基

4.标准正交向量

4.1 标准正交基

4.2 标准正交分解

5.正交化（Gram-Schmidt）算法

5.1 定义与性质

5.2 例题

5.3 时间复杂度分析

总结

---

系列文章目录

本系列博客重点在深圳大学最优化方法课程的核心内容梳理，参考书目《Introduction to Applied Linear Algebra. Vectors, Matrices, and Least Squares》（有问题欢迎在评论区讨论指出，或直接私信联系我）。

第一章 最优化方法01——向量、线性函数、范数_@李忆如的博客-CSDN博客

第二章 最优化方法02——优化问题引入、线性组合、正交化

---

梗概

本篇博客主要介绍最优化方法第二章优化问题引入、线性组合、正交化的相关知识。

---

一、优化问题

1.渐近记号 — o记号（高阶无穷小）

2.必要条件

Tips：可微代表所有维度下导数存在（即存在切平面），一元下两者等价。

反例：f(x)=−x^2，x∈ℝ，x ̂=argmin_ℝf(x). 

3.凸集与凸函数

3.1 凸集

凸集：任意两点之间线段中的点都属于原集合 

Tips：线性空间一定是凸集

3.2 凸函数

凸函数：任意两点连成的线段每点大小均大于等于该点函数值

Tips：凸函数相加还是凸函数

样例如下：

可微函数：点点可导

证明如下：

Tips：凸函数时充分必要，非凸时为充分条件

证明如下：

4.向量偏导

5.优化问题样例

聚类中心样例如下：

标量样例如下： 

6.聚类与K-means

6.1 聚类

定义：将物理或抽象对象的集合分成由类似特征组成的多个类的过程称为聚类(clustering)

6.2 K-means

 

二、线性组合与线性相关

线性组合：其中一个向量可以用另外两个向量的线性组合来表示

1.线性相关

线性相关定义如下：

2.线性无关

不是线性相关则为线性无关（独立），定义如下：

Tips：维度定理：一个n维向量集最多有n个线性无关的向量，也就是说n维向量集有n+1个向量，那它们必然线性相关。

线性无关样例如下：

线性无关的线性组合x的系数是唯一的，证明如下（相减搭配定义证明）：

3.基

基的定义如下：

4.标准正交向量

标准正交向量的定义如下：

 用内积表示为：

4.1 标准正交基

标准正交基样例如下：

4.2 标准正交分解

定义如下：

例子如下：

5.正交化（Gram-Schmidt）算法

5.1 定义与性质

给定n维向量a_1,…,a_k，如何将其标准正交化？

Tips：若向量线性有关，算法可以给出第一个可以表示为前面向量的线性组合，反之得到一组标准正交基q_1,…,q_k。 

若n维向量a_1,…,a_k是线性无关的，有如下几个结论：

（1）(q_i) ̃！=0，因此第二步的检验条件不满足，第三步没有抹除0的错误

（2）q1,……,qi是标准正交的

（3）ai是q1,……,qi的线性组合

（4）qi是a1,……,ai的线性组合

5.2 例题

正交化算法样例如下：

5.3 时间复杂度分析

总结

以上便是最优化方法第二章——优化问题引入、线性组合、正交化的相关知识。