凸优化与半定规划(SDP)

常见的凸优化问题包括：线性规划（LP，Linear Program），二次规划（QP，Quadratic Program），二次约束的二次规划（QCCP，Quadratically Contrained Quadratic Program），半正定规划（SDP，Semidefinite Program）

凸优化

凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。一般形式为：

其中 f 是一个凸函数，C是一个凸集，x是优化变量。
即要求目标函数是凸函数，变量所属集合是凸集合的优化问题。或者目标函数是凸函数，变量的约束函数是凸函数（不等式约束时），或者是仿射函数（等式约束时）。

虽然凸优化的条件比较苛刻，但仍然在机器学习参数最优化领域有广泛的应用。凸优化问题的优势体现在：
1、凸优化问题的局部最优解就是全局最优解
2、很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题
3、凸优化问题的研究较为成熟，当一个具体被归为一个凸优化问题，基本可以确定该问题是可被求解的

半定规划

定义：半定规划是线性规划的一种推广，它是在满足约束“对称矩阵的仿射组合半正定”的条件下使线性函数极大（极小）
化的问题。这个约束是非线性、非光滑并且是凸的，因而半定规划是一个非光滑凸优化问题。
一组变量（X1,…,Xn）受限于线性对称矩阵不等式，其一般标准形式为：

线性规划与半定规划的对比

LP:
线性目标，线性约束，向量变元为非负实向量。
SDP： 线性目标，线性约束，对称矩阵变元且为半定实矩阵。

SDP可视为LP的推广，LP的向量分量不等式被矩阵不等式代替。根据半定矩阵的定义知，SDP也可视为一个线性约束的关于变量的无限集的LP，解LP的原始对偶内点法可以推广到SDP。
LP的可行域为有限个顶点的凸多面体，SDP的可行域为一个曲面体。

半定规划的对偶问题

对偶问题与原始问题之间存在着下列关系：
①目标函数对原始问题是极大化，对对偶问题则是极小化。
②原始问题目标函数中的收益系数是对偶问题约束不等式中的右端常数，而原始问题约束不等式中的右端常数则是对偶问题中目标函数的收益系数。
③原始问题和对偶问题的约束不等式的符号方向相反。
④原始问题约束不等式系数矩阵转置后即为对偶问题的约束不等式的系数矩阵。
⑤原始问题的约束方程数对应于对偶问题的变量数，而原始问题的变量数对应于对偶问题的约束方程数。
⑥对偶问题的对偶问题是原始问题，这一性质被称为原始和对偶问题的对称性。
设原始问题为：
min z=cx
s.t. Ax <= b
x>= 0
则对偶问题为：
max w=yb
s.t. yA >= c
y>=0

原始-对偶内点法
一、算法的基本思想：计算一个关于保持迭代点在半定锥内的一个辅助障碍问题的每次牛顿迭代步‘
二、对数障碍：指远离边界。 一个具有对数障碍项的原始——对偶对如下

三、中心路径：

四、搜索方向：