凸优化基础——凸函数、凸规划的定义、性质以及判别
文章目录
- 1、计算几何是研究什么的？
- 2、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？
- 3、凸集是什么？ 直线是凸集吗？是仿射集吗？
- 4、三维空间中的一个平面，如何表达？
- 5、更高维度的“超平面”，如何表达？
- 6、什么是“凸函数”定义？什么是Hessen矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？
- 7、什么是“凸规划”？如何判别一个规划问题是凸规划问题。举例说明？
- 8、验证凸规划举例说明
- 9、总结
- 10、参考文献
1、计算几何是研究什么的？
计算几何(computational geometry)，是研究几何模型和数据处理的学科，探讨几何形体的计算机表示。分析和综合，研究如何灵活、有效的建立几何形体的数学模型以及在计算机中更好地存储和管理这些模型数据。
2、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？
①描述：对于集合内任意两点 x 1 , x 2 ∈ C x_1,x_2\in C x1,x2∈C，和满足 0 ≤ θ ≤ 1 0 \leq \theta \leq 1 0≤θ≤1，都有 θ x 1 + ( 1 − θ ) x 2 ∈ C \theta x_1+(1-\theta)x_2\in C θx1+(1−θ)x2∈C。
②初中直线方程：一般式:Ax+By+C=0，点斜式:y-y0=k(x-x0)，截距式:x/a+y/b=1等。
③差异与好处：凸集中x_1、x_2为n维空间的两个点
3、凸集是什么？ 直线是凸集吗？是仿射集吗？
①在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。
②一个集合C是仿射集，若对任意的 x 1 , x 2 ∈ C x_1,x_2\in C x1,x2∈C 且 θ ∈ R \theta\in R θ∈R，则连接x_1,x_2的直线也在这个集合内。如直线是一个仿射集，线段不是仿射集，二维空间是一个仿射集，二维空间中一个正方形不是仿射集，所以直线是仿射集。根据定义，可以知道仿射集都是凸集，所以直线是凸集。
4、三维空间中的一个平面，如何表达？
三维平面有两种表达式：
①一般式：Ax+By+Cz+D=0
②点法式（给出平面的一个法向量）：(x0,y0,z0)+k(x1,y1,z1)
5、更高维度的“超平面”，如何表达？
超平面H是从n维空间到n-1维空间的一个映射子空间，它有一个n维向量和一个实数定义。因为是子空间，所以超平面一定过原点。
给定向量空间 Rn 中的一个点 P 和一个非零向量n ,满足n * （i - p）= 0，
则称点集 i 为通过点p 的超平面，向量 n为通过超平面的法向量。按照这个定义，虽然当维度大于3才可以成为“超”平面，但是你仍然可以认为，一条直线是 R2 空间内的超平面，一个平面是 R3 空间内的超平面 。Rn 空间的超平面是Rn 空间内的一个 n - 1 维的仿射子空间。
6、什么是“凸函数”定义？什么是Hessen矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？
①凸函数：设 R n ⊇ D R^n\supseteq D Rn⊇D是非空凸集，f(x)：S→R，若对任意的 x , y ∈ D x,y\in D x,y∈D，及任意的 α ∈ [ 0 , 1 ] α\in[0,1] α∈[0,1],都有：f(αx+(1-α)y)≤αf(x)+(1-α)f(y),则称函数f(x)为D上的凸函数。凸函数的割线在函数曲线的上方，如下图所示：
②Hessen矩阵：黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
③如何判断：
对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数
对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断，如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。
④判断f(x)=x^3 函数是否为凸函数：f′′(x)=6x，当x≥0时，f′′(x)≥0，则f(x)是凸函数；当x≤0时，f′′(x)≤0，则f(x)不是凸函数
7、什么是“凸规划”？如何判别一个规划问题是凸规划问题。举例说明？
①凸规划：最优化问题的目标函数为凸函数，不等式约束函数也为凸函数，等式约束函数是仿射的，则称该最优化问题为凸规划。凸规划的可行域为凸集，因而凸规划的局部最优解就是它的全局最优解。当凸规划的目标函数为严格凸函数时，若存在最优解，则这个最优解一定是唯一的最优解。
②如何判断：设 R n ⊇ D R^n\supseteq D Rn⊇D是凸集，f(x)为D上的凸函数，则称规划问题min f(x), x ∈ D x\in\ D x∈ D为凸规划问题
③举例：如下图所示：
8、验证凸规划举例说明
①例题如下：
{ m i n f ( X ) = x 1 2 + x 2 2 − 4 x 1 + 4 g 1 ( X ) = − x 1 + x 2 − 2 ≤ 0 g 2 ( X ) = + x 1 2 − x 2 + 1 ≤ 0 x 1 , x 2 ≥ 0 \begin{cases} min f(X)=x_1^2+x_2^2-4x_1+4\\\\ g1(X)=-x_1+x_2-2≤0 \\\\ g2(X)=+x_1^2-x_2+1≤0 \\\\ x_1,x_2≥0 \end{cases} ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧minf(X)=x12+x22−4x1+4g1(X)=−x1+x2−2≤0g2(X)=+x12−x2+1≤0x1,x2≥0
②做法如下：
9、总结
写完这篇博客，让我重新梳理了一遍这些知识，对这些知识的理解更加透彻，对以后的学习有更大的帮助。以上就是所有内容，End,谢谢！
10、参考文献
①https://blog.csdn.net/denghecsdn/article/details/77313758
②https://www.jianshu.com/p/e74eb43960a1
③https://www.jianshu.com/p/82a44414a1e7