凸集、凸函数、凸优化的一些笔记

一、凸集的定义：

 

 

典型的凸集

A、线段，射线，直线

B、超平面，半空间

C、仿射集

D、欧几里得球，范数球，椭球等

E、凸锥，范数锥等

 

超平面和半空间概念

 

 

仿射变换

 

 

二、凸函数

 

二、性质

 

2.1、一阶条件

2.2、二阶条件

 

Jensen不等式

 

 

三、凸优化

优化问题的基本形式：

 

 

凸优化问题：

 

 

对偶问题：

 

 

Lagrange对偶函数

 

 

三、无约束凸优化问题求解

3.1、解析解

对于少数一些简单的凸优化问题，可以利用最优性准则通过解析来求解。但对于大多数凸优化问题来讲，是没有办法通过解析来求解的。

 

3.2、下降方法

下降方法中，有两个问题需要解决：确定搜索步长和确定搜索方向。确定搜索步长的方法和算法有：固定步长搜索、精确直线搜索和回溯直线搜索。确定搜索方向的方法和算法有：梯度下降方法、最速下降方法和牛顿法。

 

3.3、确定步长的方法

1、固定步长搜索

步长值根据经验设定，为了防止算法震荡，值应当较小。优点：直观、简单；缺点：收敛速度慢。

2、精确直线搜索

 

3、回溯直线搜索

比较常用的是回溯直线搜索，大概思路是，用迭代方法求得的步长只要能使目标函数有足够的减少即可。

 

2.1、算法

 

2.2、算法解释

 

2.3、参数解释

 

 

3.4、调整搜索方向的方法

1、梯度下降方法

 

2、最速下降方法

一、简介

利用目标函数的一阶泰勒展开近似优化过程，求得搜索方向的方法。

二、思路及推导

 

3、牛顿法

利用目标函数的二阶泰勒展开近似表示目标函数，通过求解这个二次函数的极小值来确定搜索方向。

2.1、牛顿法推导

 

参考博客和视频：

https://www.jianshu.com/p/967e1ea18469

https://v.youku.com/v_show/id_XOTI0MjY0NTQw.html?from=s1.8-1-1.2