ps: 个人笔记 根据视频和PDF学习
因此,学习凸优化,考察凸函数,先从凸集及其性质开始。
不特殊说明,后面将使用x1表示向量,如:定义两个点x1,x2,则x=θx1 + (1-θ)x2, θ∈R表示经过这两点的直线
定义:通过集合C中任意两个不同点的直线仍然在集合C内,则称集合C为仿射集。
仿射集的例子:直线、平面、超平面后面将继续考察超平面的定义。
仿射包:包含集合C的最小仿射集。
仿射维数: 仿射包的维数。球的仿射维数为3
将该概念用在C的仿射集aff C上,则为相对内点。一般用relint C表示C的相对内点。
B(x,r)表示以x为球心,r为半径做一个球。affC是仿射包
举例
PS:这里C的内点是空的,理解为X3=0,相当于一个瓶是空的,或者说没有厚度,所以说是空的
集合C内任意两点间的线段均在集合C内,则称集合C为凸集。
因为仿射集的条件比凸集的条件强,所以,仿射集必然是凸集。
ps:上面正方形有些边界没有,不是凸集
集合C的所有点的凸组合形成的集合,叫做集合C的凸包。
集合C的凸包是能够包含C的最小的凸集。
PS:凸包最后会变成一个凸型
第一张图是凸锥;第二张图不是凸的;第三张图是凸锥
PS:锥包的话最后会变成一个锥型
超平面hyperplane
半空间halfspace
几何表示:
欧式球
椭球范数
范数球
范数锥
多面体有限个半空间和超平面的交集。
仿射集(如超平面、直线)、射线、线段、半空间都是多面体。多面体是凸集的表示:
PS:分别小于这些超平面,组成一个多面体,线是要无限延伸的
投射变换(线性分式变换)
仿射变换
伸缩、平移、投影若f是仿射变换,
若S为凸集,则f(S)为凸集;若f(S)为凸集,则S为凸集。
两个凸集的和为凸集
u(x) = x*x, u(y) = y*y, v(x,y) = x*x + y*y
两个凸集的笛卡尔积(直积)为凸集
两个集合的部分和为凸集(分配率)
透视函数对向量进行伸缩(规范化),使得最后一维的分量为1并舍弃之。
透视的直观意义红色的点是二维的,通过孔成像后变成蓝点,是一维的了
思考:反过来,若某集合的透视变换是凸集,这个集合一定是凸集吗?
g为仿射函数:
定义f为线性分式函数
若c=0,d>0,则f即为普通的仿射函数。
设C和D为两不相交的凸集,则存在超平面P,P可以将C和D分离。
注意上式中可以取等号。加强条件:若两个凸集至少有一个是开集,那么当且仅当存在分割超平面,它们不相交。
分割超平面表示:
做集合C和集合D最短线段的垂直平分线。
设集合C,x0为C边界上的点。若存在a≠0,满足对任意x∈C,都有
凸集边界上任意一点,均存在支撑超平面。若一个闭的非中空集合,在边界上的任意一点存在支撑超平面,则该集合为凸集。
支撑超平面表示:
注意:图中C不是凸集
但如果C的边界上任何点都存在支撑超平面,则C是凸集。
若函数f的定义域domf为凸集,且满足
若f一阶可微,则函数f为凸函数当前仅当f的定义域domf为凸集,且
该不等式说明从一个函数的局部信息,可以得到一定程度的全局信息。
若函数f二阶可微,则函数f为凸函数当前仅当dom为凸集,且
若f是一元函数,上式表示二阶导大于等于0若f是多元函数,上式表示二阶导Hessian矩阵半正定。
函数f的图像定义为:
函数f的上境图(epigraph)定义为:进一步,一个函数是凹函数,当且仅当其亚图(hypograph)是凸集。
凸函数的非负加权和
凸函数与仿射函数的复合
凸函数的逐点最大值、逐点上确界
f1,f2均为凸函数,定义函数f:
则函数f为凸函数。
凸函数的共轭函数的共轭函数是其本身。
可逆对称阵Q,对于任意的向量x,定义函数f:
关于(x,y)的函数
在 时取上确界,带入,得到:
f*即是f的共轭函数
根据定义
立刻可以得到:
根据f(x)及其共轭函数f*(x)
带入Fenchel不等式,得到:
优化问题的基本形式
优化问题的域
可行点(解)(feasible)最优化值
最优化解
凸优化问题的局部最优解即为全局最优解
一般优化问题的Lagrange乘子法
Lagrange函数
对固定的x,Lagrange函数L(x,λ,v)为关于λ和v的仿射函数Lagrange对偶函数
若没有下确界,定义:进一步:Lagrange对偶函数为凹函数。
原问题
Lagrange函数
Lagrange对偶函数
对L求x的偏导,带入L若要对偶函数的最大值即为原问题的最小值,考察需要满足的条件: