最优化理论基础与方法学习笔记——凸集与凸函数以及手写定理证明

凸集的定义

凸集的几何意义

有关凸集的定理

定理1.4.2

内点、边界点和闭包的定义

定义1.4.3 超平面的定义

定理1.4.3 投影定理

定理1.4.4 点与凸集的分离定理

定理1.4.5 支撑超平面定理

定义1.4.4 凸函数的定义

定义1.4.5 水平集

定理1.4.6 凸函数的水平集还是凸集

定理1.4.7 函数是凸函数的充要条件

定理1.4.8

凸集的定义：
设有D∈Rn，如果对任意的x,y∈D与任意的α∈[0,1]，都有：
αx + (1-α)y = 0，
那么称D为凸集。

**凸集的几何意义：**若两个点属于此集合，则这两个点上的任意一点均属于此集合。

有关凸集的性质：

定理证明:




凸集的加减数乘交集之后还是凸集，其中加需要两个凸集是临接的。

定理1.4.2：
下面这个定理比较容易理解：在一个集合D内，若对于任意个集合内的元素，他们的线性组合在集合内且线性组合的值之和为1，那么这个集合D是凸集。

这是理解方法：

定义1.4.2：
**内点：**对于一个点x，若存在一个以其为中心的邻域，这个邻域属于凸集D，那么称x为内点。
**边界点：**对于一个点x，其任意小的邻域，都会既包含D中的点，又会包含D以外的点，那么这个点就叫做边界点。
闭包：

定义1.4.3：
在这里内积的大小的比较可以看成x,y在α上的投影的大小的比较，因为α的范数可以约掉。


定理1.4.3（投影定理）：
设D是n维线性空间里的非空闭凸集，y是一个n维向量，但是y不在D里面，那么在D中就会存在一个唯一的点c：
y与c的连线是距离是y到D的最小距离，并且
点c是y到D的最小距离点的充要条件是：D内任意一个点（除了c之外）减去c所形成的向量与c减去y所形成的向量的内积大于等于零。
很容易理解，当y不在D的“正上方”时，这个最小点一定是边界点。

定理1.4.4（点与凸集的分离定理）：
凸集D，y不在这个D内，则存在一个非零n维向量α，一个常数β：
使得：α的转置乘以D内的任意一个n维向量小于或等于β，β一定小于α的转置乘以y。

两个向量的内积在这里要理解为（它本来就有这种几何意义）：一个向量在另一个向量的方向上的投影，再乘以这个方向上的那个向量的大小，在这里α转置由于在两边都有，所以可以约掉（或者是说不看这个α）。所以两个向量的内积的比较大小在这里就是比较被投影向量x、y在α上的投影的大小

定理1.4.5（支撑超平面定理）：


定义1.4.4：
设D是非空集，f是定义在D上的函数，如果对任意的x1,x2∈D，均有在这两点之间的点的函数值小于等于这两点的加权函数值之和，那么称f为D上的凸函数。


定义1.4.5：水平集
设f是定义在D上的函数，则集合Da = {x | f(x) < α , x ∈D }称为Da为函数f的α水平集。

定理1.4.6：若D是非空凸集，f是定义在D上的凸函数，则对任意的α∈R，f的水平集Dα是凸集。

定理1.4.7：
f(x)为凸函数的充要条件是对任意的x,y∈Rn，一元函数φ(α) = f(x + αy)是关于α的凸函数。
定理1.4.8：

定理1.4.9：
f(x)二阶连续可微，那么f(x)是D上的凸函数的充要条件是，f(x)的Hesse矩阵在D上是半正定的。

定理1.4.10:
如果f(x)的Hesse矩阵在D上是正定的，则f(x)在D上是严格凸函数，反之若f(x)是严格凸函数，则f(x)的Hesse矩阵在D上是半正定的。