凸优化学习（一）

自己近段时间以来，一直在忙于对于凸优化问题的学习，看的书只要是Stephen Boyd的Convex Optimization同时参考了张贤达的矩阵分析与应用，现在自己来做个小结。 介绍的内容主要是遵循凸优化一书的轨迹，同时辅以自己的些许理解与感受。

基本理论

凸集合

凸集合用文字来理解很简单。它指的是若两个点属于某个集合，则连接这两点的线段亦属于这个集合。将这个概念加以延伸，便可以得到仿射（这两个点和这两点所确定的直线都属于原集合）和锥（某一点，和由点延伸的射线都属于原集合）的概念。用数学公式表达为：

凸集：

任意x,y∈C,有θx+(1−θ)y∈C
常见的凸集合有空集、点、直线、任意子空间、线段、超平面( aT=b )、Euclid球（ B(xr,r)={x|∥x−xr∥2≤r}={x|∥x−xc)T(x−xc)≤r2} ）多面体（ P={x|Ax≤b,Cx=d} ）

保凸运算

常见保凸运算有交集、仿射运算、线性分式函数以及透视函数
在这里。我想特别介绍一下仿射函数的含义，数学定义其实蛮抽象的
f:Rn→Rm
f=Ax+b 其中 A∈Rm×n 和 b∈Rm
其实，它定义的是一个函数，将 Rn 的量转换为 Rm 的量,仅仅一个转化而已。
透视函数的定义为 P(z,t)=z/t ,较好理解，不赘述。

凸函数

凸函数含义

定义：

f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y),∀x,y∈C,C为凸集

理解：

画图来看，其实就是一个下凹的函数，任意两点x,y的线段总在原函数上方。（注意，国内对于凹凸函数定义有不同版本，如同济版高数将此种函数称为凹函数，反之为凸，与此正好相反）

凸函数性质

1. ∀x,y,有f(y)≥f(x)+▽f(x)T(y−x)

2. ∀x∈domf,▽2f(x)⪰0

理解：

这重点内容两点其实是一元函数的扩展，将之在一元函数中理解，可以复习高数知识，二阶求导也称为Hessian矩阵，关于矩阵求导的知识，我在以后的博文中会详细介绍。

常见凸函数

常见的凸函数有：

一元凸函数：

指数函数
幂函数
绝对值函数
对数函数
负熵（ xlogx ）

多元凸函数：

范数
最大值函数
二次—线性分式函数
指数和的对数
几何平均
对数—行列式

注记

在这里我要特别提出来，所有的范数都是凸函数，这是根据范数的定义得来的，关于范数的讨论，我以后会专门写博文加以分析。

保凸运算

非负加权求和
复合仿射映射
逐点最大和逐点上确界
复合函数（外凸非减里凸，外凸非增里凹）
透视函数
这里和前面凸集类似，不多说。