凸优化中凸函数定义、直线与线段、凸集、仿射集合、仿射函数

凸优化（Stephen Boyd)中自学部分

凸函数定义

函数$f:{\mathbf{R}}^n\to \mathbf{R}$是凸的，如果$f$在定义域($dom$)上是凸集，且对于任意$x,y\in \mathbf{d}\mathbf{o}\mathbf{m}f$和任意$0⩽\theta ⩽1$，有

$f(\theta x+(1-\theta )y)⩽\theta f(x)+(1-\theta )f(y)$。

凸函数示意图，图中点$(x,f(x))$到$(y,f(y))$之间的线段都在函数$f$的图像上方。函数是凸函数，当且仅当其在与其定义域相交的任何直线上都是凸的。

为了理解，补充直线和线段的知识：

直线和线段

设$x_1\ne x_2$为$R^n$空间中的两个点，则$y=\theta x_1+(1-\theta )x_2,\theta \in \mathbf{R}$组成一条穿越$x_1$ 和$x_2$的直线，参数$\theta$的值在0和1之间变动。这里的$x_1$ 和$x_2$可以类比上述提到的$(x,f(x))$和$(y,f(y))$。

个人理解：一般我们在实际应用中，用到的凸函数偏多，凹函数可以取负号变换为凸函数。

仿射集合

判断集合$C\in R^n$为仿射集合，则对于任意的$x_1，x_2\in C$及$\theta \in R$，有$\theta x_1+(1-\theta )x_2\in C$，也就是$C$包含了$C$中任意两点的系数之和为1的线性组合。此概念拓展到多个点也适用。

例子：
线性方程组的解集$C=\{x|Ax=b\}$是一个仿射集合，其中$A\in {\mathbf{R}}^{m\times n}$,$B\in {\mathbf{R}}^m$.

证明：可设$x_1，x_2\in C$，有$A{x}_1=b,A{x}_2=b$，对于任意$\theta$，$A\left(\theta x_1+(1-\theta )x_2\right)=\theta A{x}_1+(1-\theta )A{x}_2=\theta b+(1-\theta )b=b$，说明任意的仿射组合$\theta x_1+(1-\theta )x_2$也在$C$中。

凸集

注意：这里的凸集和凸函数不是一个概念。
判断某个集合是否为凸集，看集合中任意两点之间的线段是否在集合中。举个例子：

上图中，（1）包含其边界的六边形是凸的。（2）肾形集合不是凸的，因为图中所示集合中两点间的线段不为集合所包含。（3）仅包含部分边界的正方形不是凸的。

仿射函数

白话理解就是仿射函数是一个线性函数和一个常数的和，也就是具有$f(x)=Ax+b$的形式，其中$A\in {\mathbf{R}}^{m\times n}$,$B\in {\mathbf{R}}^m$。

假设$S\subseteq {\mathbf{R}}^n$是凸的（即$S$为凸集），并且$f:{\mathbf{R}}^n\to {\mathbf{R}}^m$是仿射函数，则$S$在$f$下的象$f(S)=\{f(x)|x\in S\}$是凸的。