(邹博ML)凸优化

目录

• 凸集的基本概念
• 凸函数的基本概念
• 凸优化的一般提法

凸集基本概念

思考两个不能式

两个正数的算术平均数大于等于几何平均数 给定可逆对称阵Q，对于任意向量x,y，有：

思考凸集和凸函数

在机器学习中，我们把形如 这样的图形的都称为凸函数。

• $y=x^2$是凸函数，函数图像上位于$y=x^2$的区域构成凸集。
  • 凸函数图像的上方区域，一定是凸集；
  • 一个函数图像的上方区域为凸集，则该函数是凸函数。

直线的向量表达

已知二维平面上的两定点A(5,1)，B(2,3)尝试给出经过带你AB的直线方程： 写成向量形式： 其中：

几何体的向量表达

已知二维平面上的两个定点，则： 推广到高维：

仿射集(Affine set)

定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。 仿射集的例子：直线、平面、超平面 超平面：$Ax=b$ f(x)=0表示定义域在$R^n$的超曲面：令$f(x)=Ax-b$，则$f(x)=0$表示截距为b的超平面。 n维空间的n-1维仿射集为n-1维超平面

凸集

集合C内任意两点间的线段均在集合C内，则称集合C维凸集。

注意和仿射集区分

仿射集是凸集的一种特殊形式，仿射集一定是凸集。 k个点的版本：

凸包

集合C的所有点的凸组合所形成的集合，叫做集合C的凸包： 集合C的凸包是能够包含C的最小凸集。

超平面和半空间

超平面：hyperplane 半空间：halfspace

欧式球和椭球

欧式球 椭球

范数球和范数锥（欧式空间推广）

$R^3$空间中的二阶锥

多面体

有限个半空间和超平面的交集。 仿射集(如超平面、直线)、射线、线段、半空间都是多面体 多面体是凸集 此外，有界的多面体有时称作多胞体(Polytope)

保持凸性运算

• 集合交运算
• 仿射变换
• 透视变换
• 投射变换（线性分式变换）

集合交运算：半空间的交 仿射变换 透视变换 投射函数（线性分式函数）

分割超平面

设C和D为两不相交的凸集，则存在超平面P，P可以将C和D分离。 分割超平面的构造：

支撑超平面

设集合C，x0是C边界上的点，若存在$a\not=0$。满足对任意$x\in C$，都有成立，则称超平面为集合C在点x0处的支撑超平面。 凸集边界上任意一点，均存在支撑超平面。 反之，若一个闭的非中空集合，在边界上任意一点存在支撑超平面，则该集合为凸集。

凸函数

若函数f的定义域domf为凸集，且满足：

一阶可微

若f一阶可微，则函数f为凸函数，当且仅当f的定义域domf为凸集，且： 分析 对于凸函数，其一阶Taylor近似本质上是该函数的全局下估计。 反之如果一个函数的一阶Taylor近似总是其全局下估计，则该函数是凸函数 该不等式说明从一个函数的局部信息，可以得到一定车程度的全局信息。

二阶可微

若函数f二阶可微，则函数f为凸函数当且进档dom为凸集，且： 若f为一元函数，上式表示二阶导大于等于0 若f是多元函数，上式表示二阶导Hessian矩阵半正定。 凸函数举例：

上镜图

函数f的图像定义为： 函数f的上镜图(epigraph)定义为

Jensen不等式：若f是凸函数

基本Jensen不等式 若： 则： 若： 则： Jensen不等式是几乎所有不等式的基础

保持函数凸性的算子

凸函数的逐点最大值

若$f_1,f_2$均为凸函数，定义函数$f$： 则函数$f$为凸函数。 证明： 第二个不等号的表达： 第二个不等好的形式化表达：

共轭函数

原函数，共轭函数定义： 显然，定义式的右端是关于y的仿射函数，他们逐点求上确界，得到的函数f*（y）一定是凸函数。 理解： 例： 求共轭函数

Fenchel不等式

根据共轭函数定义： 易得： 应用：

凸优化

凸优化问题的基本形式：

• 优化变量：$x \in R^n$

• 不等式约束：$f_i(x)\le0$

• 等式约束：$h_j(x)=0$

• 无约束优化：$m=p=0$

• 优化问题的域：

• 可行点（解）(feasible)

• 可行域（可解集） 所有可行点的集合。

• 最优化值

• 最优化解

对于 其中 $f_i(x)$为凸函数，$h_j(x)$为仿射函数 凸优化问题的重要性质：

• 凸优化问题的可行域为凸集
• 凸优化问题的局部最优解就是全局最优解

对偶问题

一般优化问题的Lagrange乘子法 Lagrange函数： 对于固定的x，Lagrange函数$L(x,\lambda,v)$是关于$\lambda$和v的仿射函数。

Lagrange对偶函数

Langrange对偶函数： 若没有下确界，定义： 根据定义，显然有：对，若原优化问题有最优值P*,则： 进一步：Lagrange函数对偶函数为凹函数。

鞍点解释

鞍点：最优点

强对偶条件

若要对偶函数的最大值即为原问题的最小值，需要满足的条件：

Karush-Kuhn-Tucker(KKT)条件