最优化方法(学习笔记)-第四章凸优化问题

凸优化问题及其标准形式

optimization problem in standard form

标准形式介绍

目标函数：$\underset{x}{\min }{f}_0(x)$
满足条件：$subjectto(s.t)\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$

含义/名称	数学表达
变量decision var	$x\in R^n$
目标函数/损失函数lost function	$f_0:R^n⟹R$
不等式约束函数inequality constraint function	$f_i:R^n⟹R,i=1,...,m$
等式约束函数equality constraint function	$h_i:R^n⟹R,i=1,...,p$
能取到的最小值(极限值)optimal value	$p^{\ast }=\underset{x}{\inf }\{f_0(x)\Vert f_i(x)\le 0,h_j(x)=0,i=1,...,m,j=1,...,p\}$ 【如果问题无解则$p^{\ast }=\infty$；问题无下界则$p^{\ast }=-\infty$】

最优化的取值----局部极值，或者全局极值

定义1：非空集合里存在满足约束的元素x,且x属于$f_0$的定义域内（$x\in dom{f}_0$）。
定义2：非空集里的元素x使得$f_0(x)=p^{\ast }(就是\infty )$，那么x就是目标函数的最优点。
定义3：$X_{opt}是最优点x的集合$。（极值表现为某一段水平线）
定义4：如果存在$R>0$且满足$x_0是f_0(x)$的最优点$\left(\begin{array}{c}s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_j(x)=0,j=1,...,p\\ ||x-x_0|{|}_2\le R\end{array}\end{array}\right)$，那么$x_0$就是局部最优点。（多个极值）

例子：
1.$f_0(x)=\frac{1}{x}，dom{f}_0=R_{++}（正半轴）；p^{\ast }=\underset{x}{\inf }\{f_0(x)=\frac{1}{x}|x\in R_{++}\}=0；极限值是0，但取不到x的准确值，所以没有最优点$
2.$f_0(x)=-\log x，dom{f}_0=R_{++}（正半轴）；p^{\ast }=-\infty ；问题答案无下界，没有最优点$
3.$f_0(x)=-x\log x,dom{f}_0=R_{++}；（f_0^{\prime }(x)的零点x=\frac{1}{e},f_0^{\prime \prime }(x)<0,f_0(\frac{1}{e})是极大值）p^{\ast }=\frac{1}{e}；最优点就是x=\frac{1}{e}$

4.$f_0(x)=x^3-3x,dom{f}_0=R；p^{\ast }=-\infty ；但是存在局部最小值x=1$

标准形式中的隐式约束Implicit constraint

定义：$x\in D=\bigcap _{i=0}^{m}dom{f}_i\cap \bigcap _{i=1}^{p}dom{h}_i$
其中，D是问题的定义域，$f_i(x)\le 0,h_i(x)=0$是显式约束，没有显式约束(m=p=0)的问题就是无约束unconstrained问题。
例如：
$\min f_0(x)=-{\sum }_{i=1}^k\log (b_i-a_i^{T}x)，log函数的定义域隐性要求a_i^{T}x<b_i$

可行域feasibility问题

含义：找满足显式条件的元素x，多个x构成一个集合。
定义：找$x，s.t\{\begin{array}{l}{f}_i(x)\le 0\\ h_i(x)=0\end{array}⟺使得最小f_0(x)=0,满足\{\begin{array}{l}{f}_i(x)\le 0\\ h_i(x)=0\end{array}$
其中，如果可行解存在，那么$p^{\ast }=0且\forall x都是最优点$；如果可行解不存在，那么$p^{\ast }=\infty$。

凸优化问题

希望避免存在多个局部最优
定义：$\underset{x}{\min }{f}_0(x)，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$
其中
$f_i(x)是凸函数convex,i=0,...,m$；$h_i(x)是仿射函数affine,i=1,...,p$；可行解集是凸集，该问题是凸优化问题。
$f_i(x)是凸函数convex,i=1,...,m$；$h_i(x)是仿射函数affine,i=1,...,p$；$f_0(x)是次凸函数$，该问题是次凸优化问题。

例子：转化为凸优化问题
$\min f_0(x)=x_1^2+x_2^2,s.t\{\begin{array}{l}{f}_1(x)=\frac{x_1}{1+x_2^2}\le 0\\ h_1(x)=(x_1+x_2{)}^2=0\end{array}$
易知：
1.二次函数$f_0(x)$是凸函数$⟹$可行解($x_1=-x_2$)是凸集
2.但$f_1(x)$不是凸函数,$h_1(x)$不是affine函数$⟹$该问题不是凸优化问题
3.因为$f_1(x)$的分母永远大于0，所以可以改写为：$\min x_1^2+x_2^2（s.t{x}_1\le 0,x_1+x_2=0）$。这样就可以满足凸优化问题的条件了。

局部最小值和全局最小值的问题

定理：凸优化问题的任意一个局部最优点就是全局最优点。
证明：反证+局部最优的可行解定义+凸函数的基本性质
假设，x是局部最优值，但是y是全局最优，符合$f_0(y)<f_0(x)$
根据局部最优，可行解z满足$f_0(x)\le f_0(z),||z-x|{|}_2\le R$
设$z=\theta y+(1-\theta )x,且||z-x|{|}_2=\frac{R}{2}\le R$
代入z到等式中$||\theta (y-x)|{|}_2=\frac{R}{2}⟹\theta =\frac{R}{2||y-x|{|}_2}$
由凸函数的性质，得到$f_0(z)=f_0(\theta y+(1-\theta )x)\le \theta f_0(y)+(1-\theta )f_0(x)$
加上条件$f_0(y)<f_0(x)$，所以$f_0(z)<\theta f_0(x)+(1-\theta )f_0(x)=f_0(x)【与可行解定义矛盾】$
综上，x是局部最优，就不存在其他的全局最优，也就是x是全局最优点。

可微函数的最优性条件

Optimality criterion for differentiable $f_0$
定义：$f_0(x)可导$
$x,y\in$可行解，且$\forall y,有▽f_0(x{)}^T(y-x)\ge 0⟺x$是最优点

性质：
1.可行解集X是凸集
2.$-▽f_0(x)$是函数下降的方向，说明沿下降方向已无更优可行解
3.$-▽f_0(x)$定义出一个（垂直）的支撑面supporting hyperplane

无约束的优化问题

定义：$x\in dom{f}_0,▽f_0(x)=0⟺x$是最优点

等式约束的优化问题

[不知道是不是和拉格朗日对偶相关？]

定义：凸优化问题$\min f_0(x),s.tAx=b$
$\exists \mu ,s.tx\in dom{f}_0,Ax=b,▽f_0(x)=A^T\mu ⟺x$是最优点

证明：
根据可微函数最优点x的不等式性质$▽f_0(x{)}^T(y-x)\ge 0$
再构造一个$▽f_0(x{)}^T(-(y-x))\le 0$【这里的构造有点没懂，等之后补充】
使得等式$▽f_0(x{)}^T(y-x)=0$成立
于是说明$▽f_0(x{)}^T\mu =(A^T\mu {)}^T\mu ={\mu }^{T}A\mu =0$
$【设\mu =y-x，A=\left(\begin{array}{c}{a}_1^T\\ a_2^T\\ ...\\ a_n^T\end{array}\right)，A^T是A的行向量】$
这个等式说明$▽f_0(x{)}^T\in \{\{a_1,a_2,...,a_n\}的张成空间\}$
且$▽f_0(x)=\sum _i{\mu }_i{a}_i=A^T\mu ，\mu$与张成空间垂直。

特殊优化问题

非负象限的最小化minimization over nonnegative orthant
定义：凸优化问题$\min f_0(x),s.t\{\begin{array}{l}x\ge 0\\ dom{f}_0=R_{+}^n\end{array}$
$x\in dom{f}_0,x\ge 0,\{\begin{array}{ll}{▽}^T{f}_0(x{)}_i\ge 0& x_i=0\\ {▽}^T{f}_0(x{)}_i=0& x_i>0\end{array}⟺x$是最优点

证明：
根据可微函数最优点x的不等式性质$▽f_0(x{)}^T(y-x)\ge 0【附加条件x\ge 0,\forall y\ge 0】⟹▽f_0(x{)}^{T}y\ge ▽f_0(x{)}^{T}x$
明显$▽f_0(x{)}^{T}x$是一个固定(最优点x)的值，设为$K$。

接下来讨论$▽f_0(x{)}^{T}y$的正负：
假设$▽f_0(x{)}^{T}y<0$，存在一个特别大的$\alpha >0$，将这个负数乘积到最小，将会出现$\alpha \ast ▽f_0(x{)}^{T}y<K(就是▽f_0(x{)}^{T}x)$的情况，这样就与不等式性质矛盾了，所以$▽f_0(x{)}^{T}y\ge 0(\forall y\ge 0)$

接下来讨论$y$的取值：
假设$y>0$，那么$▽f_0(x{)}^{T}y\ge 0⟹▽f_0(x{)}^T\ge 0$；
假设$y=0$，那么$▽f_0(x{)}^{T}y=0\ge ▽f_0(x{)}^{T}x【x\ge 0】$

$\stackrel{为了寻找临界-KKT附加条件}{}▽f_0(x{)}^{T}x=0⟺\{\begin{array}{ll}{▽}^T{f}_0(x{)}_i\ge 0& x_i=0\\ {▽}^T{f}_0(x{)}_i=0& x_i>0\end{array}$

等价凸优化问题

两个问题A和B的解，A的解可以从B的解中立即得到，且B的解也可以从A的解立即得到，那么两个问题A和B就等价。

消除等式约束

定义：凸优化问题$A⟺B$
$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b(准备被消除的部分)\end{array}$
$\stackrel{x=Fz+x_0}{}\min f_0(Fz+x_0),s.t{f}_i(Fz+x_0)\le 0,i=1,...,m$

证明：
容易搜索得到$Ax=b$的一个特解$A{x}_0=b$
再假设出齐次方程组的解（零空间）$Av=0,F=\{v_1,v_2,...,v_k\}$
根据非齐次方程组的解，可以假设存在系数$z=\{z_1,z_2,...,z_k\}$，使得$x=\sum _{i=1}^k{v}_i{z}_i+x_0=Fz+x_0$是原方程的一种解（变成仿射函数的形式）
于是只要替换掉$x$，就可以保证$Ax=b$成立。

引入等式约束

定义：凸优化问题$A⟺B$
$\min f_0(A_{0}x+b_0),s.t{f}_i(A_{i}x+b_i)\le 0,i=1,...,m$
$\stackrel{y_i=A_{i}x+b_i}{}\min f_0(y_0),s.t\{\begin{array}{l}{f}_i(y_i)\le 0,i=1,...,m\\ y_i=A_{i}x+b_i,i=0,1,...,m\end{array}$

不等式约束变成等式约束

引入一个松弛因子$y_0=A_{0}x+b_0$和m个哑变量$s_i$(slack variables)

定义：凸优化问题$A⟺B$
$\min f_0(x),s.t{a}_i^{T}x\le b_i,i=1,...,m$
$\stackrel{引入s_i}{}\min f_0(x),s.t\{\begin{array}{l}{a}_i^{T}x+s_i=b_i,i=1,...,m\\ s_i\ge 0,i=1,...,m\end{array}$

上凸形式epigraph

定义：凸优化问题的epigraph形式
【$求f_0最小值，变成求t最小值：\{(f_0(x),t)|f_0(x)<t\}$】
$\underset{(x,t)}{\min }t,s.t\{\begin{array}{l}{f}_0(x)-t\le 0(凸函数)\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

最小化一些无关变量

在处理有约束变量之前，将无约束(不影响最小化结果)变量先最优化（两个变量的例子如下）
定义：凸优化问题$A⟺B$
$\min f_0(x_1,x_2),s.t{f}_i(x_1)\le 0,i=1,...,m$
$\stackrel{处理掉x_2【f_0(x_1)=\underset{x_2}{\inf }{f}_0(x_1,x_2)】}{}$
$\min f_0(x_1),s.t{f}_i(x_1)\le 0,i=1,...,m$

次凸优化问题quasiconvex optimization

次凸函数

定义：次凸函数的定义域和水平集都是凸集，只有一个最小的极小值，可以有多个局部极值，满足$S_{\alpha }=\{x\in domf|f(x)\le \alpha \}$，该函数的水平集要求是连续的区间都符合这个要求，不存在某个水平线将函数分割为多个局部极小值。

• 不等式性质：$f(\theta x+(1-\theta )y)\le max\{f(x),f(y)\}$
• 必要条件：保证转折处/拐点不会出现先增后减的图形，要求$\forall x\in domf,\forall y\in R^n(y\ne 0),f(x)是极小值$
  • 一阶条件：$f(y)\le f(x)⟹▽f(x{)}^T(y-x)\le 0$
  • 二阶条件：$y^T▽f(x)=0⟹y^T{▽}^{2}f(x)y\ge 0$
    从一维实数集看，就是$f^{\prime }(x)=0⟹f^{\prime \prime }(x)\ge 0$
• 充分条件：$y^T▽f(x)=0⟹y^T{▽}^{2}f(x)y>0$

次凸函数的标准化定义：$次凸函数f_0(x),m个凸函数f_i(x)$
$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

次凸函数向凸函数的转化

convex representation of sublevel sets of $f_0$
$对于一个次凸函数f_0，转化为一系列的多个凸函数{\varphi }_t(x)，\forall t使得对于x来说，f_0(x)\le t⟺{\varphi }_t(x)\le 0$
比如：$\varphi (x)=\{\begin{array}{ll}0& f(x)\le t\\ \infty & f(x)>t\end{array}$

举例：
设$f_0(x)=\frac{p(x)}{q(x)}，\forall x\in domf$
$凸函数p(x)\ge 0（且p^{\prime \prime }(x)>0）,凹函数q(x)>0（且q^{\prime \prime }\le 0）$
先验证$f_0(x)$是次凸函数
$令f_0^{\prime }(x)=\frac{p^{\prime }q-p{q}^{\prime }}{q^2}=0，有f_0^{\prime \prime }(x)=\frac{(p^{\prime \prime }q-p{q}^{\prime \prime })q^2-2q{q}^{\prime }(p^{\prime }q-p{q}^{\prime })}{q^4}=\frac{p^{\prime \prime }q-p{q}^{\prime \prime }}{q^2}>0，$所以根据充分条件可知，$f_0(x)$是次凸函数
$⟹$次凸函数的水平集$f_0(x)\le t⟺p(x)\le tq(x)$
$⟹$设${\varphi }_t(x)=p(x)-tq(x)，发现是凸函数，于是化为求解{\varphi }_t(x)\le 0$

通过解可行域进行次凸优化(二分法求解极小值)

次凸问题转化为一个可行域问题(1)：
$findx,s.t\{\begin{array}{l}{\varphi }_t(x)\le 0\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}(1)$
存在$f_0$的最小值$p^{\ast }$

• 若该问题有可行域，那么$p^{\ast }\le t$；否则$p^{\ast }>t$
• 采用二分法求解$p^{\ast }$，复杂度是$lo{g}_2((u-l)/\epsilon )$
  • 假设$l\le p^{\ast },u\ge p^{\ast },允许误差\epsilon$
  • 迭代$\{\begin{array}{l}1.t=\frac{u+l}{2}\\ 2.求解可行域问题(1)\\ 3.\{\begin{array}{l}如果有解,减小上界u=\frac{u+l}{2}\\ 如果无解,增大上界l=\frac{u+l}{2}\end{array}\\ 直到间隔小于等于误差u-l\le \epsilon \end{array}$

线性优化linear optimization

线性规划linear program(LP)

定义：凸优化问题$\min c^{T}x+d,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}G是行满秩[m=n时是唯一解]$
可行域是一个多面体,优化目标是一个等值面,沿梯度下降的方向移动,直到遇到临界边角.

举例：购买营养丰富的食物代价最小化
$c_j表示食物j的代价,x_j表示食物j的数量,a_{ij}表示食物j的第i类营养的含量,b_i是各类营养的要求$
$\min c^{T}x,s.t\{\begin{array}{l}x\ge 0\\ Ax\ge b\end{array}$

线性分片最小化($min,max⟹min)$

定义：凸优化问题$min{\max }_{i=1,...,m}{a}_i^{T}x+b_i$
$⟺$$\min t,s.t{a}_i^{T}x+b_i\le t,i=1,...,m$
举例：多面体的切比雪夫中心内置球的最大化
r表示内置球的半径$,a_i表示各个方向,x_c表示切比雪夫中心坐标$
$\max r,s.t{a}_i^T{x}_c+r||a_i|{|}_2\le b_i,i=1,...,m$

线性分式规划Linear-fractional program

定义：次凸优化问题$\min f_0(x)=\frac{c^{T}x+d}{e^{T}x+f},s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array},dom{f}_0(x)=\{x|e^{T}x+f>0\}$
可以通过变量替换变成次凸问题的形式$y=\frac{x}{e^{T}x+f},z=\frac{1}{e^{T}x+f},x=\frac{y}{z}$
$\min c^{T}y+dz,s.t\{\begin{array}{l}Gy\le hz\\ Ay=bz\\ e^{T}y+fz=1\\ z\ge 0\end{array}$
然后通过二分法求解极小值点$p^{\ast }$

扩展线性分式规划generalized L-F

定义：次凸优化问题$f_0(x)=\underset{i=1,...,r}{\max }\frac{c_i^{T}x+d_i}{e_i^{T}x+f_i},dom{f}_0(x)=\{x|e_i^{T}x+f_i>0,i=1,...,r\}$，可以通过二分法求解
例子：稳健成长经济的冯诺依曼模型Von Neumann model

• $当前的活动x,下一刻活动x^{+}\in R^n,消耗量(Bx{)}_i,产出(Ax{)}_i,第i部分的成长率\frac{x_i^{+}}{x_i}$
• $\underset{x,x^{+}}{\max }\underset{i=1,...,n}{\min }\frac{x_i^{+}}{x_i},s.t\{\begin{array}{l}{x}^{+}\ge 0\\ B{x}^{+}\le Ax\end{array}$
• 求解方式：(可以对分式引入哑变量t）利用线性分片最小化（切比雪夫逼近）处理max,min(保凸运算)
  $\underset{x,x^{+}}{\min }\underset{i=1,...,n}{\max }-\frac{x_i^{+}}{x_i},s.t\{\begin{array}{l}{x}^{+}\ge 0\\ B{x}^{+}\le Ax\end{array}$
  • bisection【二分法】
    $\forall t<0,\underset{i=1,...,n}{\max }-\frac{x_i^{+}}{x_i}\le 0⟹{\varphi }_t(x^{+},x)=-tx-x^{+}\le 0$
    $find(x^{+},x),s.t\{\begin{array}{l}{\varphi }_t(x^{+},x)\le 0\\ x>0\\ x^{+}>0\\ B{x}^{+}<Ax\end{array}$
  • Piecewise-linear mininzation【线性分片最小化】
    $\underset{(x^{+},x,t)}{\min }t,s.t\{\begin{array}{l}-\frac{x_i^{+}}{x_i}\le t,i=1,...,m\\ x>0\\ x^{+}>0\\ B{x}^{+}\le Ax\end{array}$

线性规划是否有解的情况

• 可行域是空集：无解/不可行
• 可行域无界：无最优解，但可行解
• 可行域有界：有最优解
  • 最优解唯一，顶点存在且是最优解
  • 最优解不唯一，顶点依然是最优解

二次规划Quadratic program(QP)

普通二次规划

定义：二次凸优化函数 $\min \frac{1}{2}{x}^{T}Px+q^{T}x+r,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\\ P\in S_{+}^n(半正定的对称矩阵)\end{array}$
目标函数是二次函数，所以是曲线形式(等值线)，然后沿着负梯度方向（与等值线垂直），找到可行域的临界（最优解不一定在顶点）

接下来介绍两个样例：

多面体间的最小距离

定义：二次凸函数$A⟺B$
$P_1=\{x|A_{1}x<b_1\},P_2=\{x|A_{2}x<b_2\}$
$dist(P_1,P_2)=\inf \{||x_1-x_2|{|}_2||x_1\in P_1,x_2\in P_2\}⟺\min ||x_1-x_2|{|}_2^2,s.t\{\begin{array}{l}{A}_1{x}_1\le b_1\\ A_2{x}_2\le b_2\end{array}$
关于最小值：

• 两个多面体之间有交集时，肯定有最小点对
• 多面体没有交集时，最小点对不一定唯一，但多面体间距离最小值是唯一的

带噪音的线性规划

定义：二次凸函数$\min {\bar{c}}^{T}x+\gamma x^T\sum x=E(c^{T}x)+\gamma var(c^{T}x),s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}$
【噪音】
随机代价/变量$c$，$均值E(c)=\bar{c}，方差var(c)=E[(c-\bar{c}{)}^2]=\sum$
【个人理解】
假设是投资问题，那么x就是本金，c就是带风险的回报率，$\gamma$指投资人的风险承受力
$均值E(c^{T}x)={\bar{c}}^{T}x，方差var(c^{T}x)=E[(c^{T}x-E(c^{T}x){)}^2]=x^T\sum x$

最小二乘法

定义：二次凸函数$\min ||Ax-b|{|}_2^2,s.tl\le x\le \mu$
当没有限制条件下，有解析解$x=(A^{T}A{)}^{-1}Ab$

二次约束的二次规划quadratically constrained quadratic program(QCQP)

就是二次规划问题的一次线性不等式约束，变成二次的非线性不等式约束
定义：二次凸问题$\min \frac{1}{2}{x}^T{P}_{0}x+q_0^{T}x+r_0,s.t\{\begin{array}{l}\frac{1}{2}{x}^T{P}_{i}x+q_i^{T}x+r_i\le 0,i=1,...,m\\ Ax=b\\ P_i\in S_{+}^n(半正定的对称矩阵)\end{array}$
特别的：$P_i\in S_{++}^n(正定对称矩阵),可行域将在m个椭圆域的交集里$

二阶锥约束的线性规划Second-order cone programming(SOCP)

二次非线性的不等式条件属于二阶锥域
定义：一次凸问题$\min f^{T}x,s.t\{\begin{array}{l}||A_{i}x+b_i|{|}_2\le c_i^{T}x+d_i,i=1,...,m\\ Fx=g\end{array}$

• 隐性限制$\{\begin{array}{l}{A}_i\in R^{n_i\times n},A_i可以理解为测量矩阵，输入的是观测值的线性组合\\ F\in R^{P\times n},A_i和F都可以是非方阵\\ (A_{i}x+b_i,c_i^{T}x+d_i)\in R^{n_i+1}(二阶锥内)\end{array}$

• SOC是二阶锥的限制，要求$||f(x{)}_{(x,t)}|{|}_2\le t，s.t||x|{|}_2<t$

• $A_i=0⟹c_i^{T}x+d_i\ge b_i$，就变成了LP问题

• $c_i=0⟹||A_{i}x+b_i|{|}_2\le d_i⟹||A_{i}x+b_i|{|}_2^2\le d_i^2$，就变成了QCQP问题
  原式$=(A_{i}x+b_i{)}^T(A_{i}x+b_i)-d_i^2$
  $=x^T{A}_i^T{A}_{i}x+2b_i{A}_{i}x+b_i^2-d_i^2（A_i^T{A}_i\in S_{+}^n）$

• 思考:$当c_i\ne 0时，为什么不是QCQP问题？$
  因为存在隐性的线性不等式要求
  $||A_{i}x+b_i|{|}_2\le c_i^T+d_i⟺\{\begin{array}{l}||A_{i}x+b_i|{|}_2^2\le (c_i^{T}x+d_i{)}^2\\ c_i^{T}x+d_i\ge 0\end{array}$

• 所以SOCP问题相对LP问题和QCQP问题更一般

稳健的线性规划Robust linear programming(RLP)(带随机变量)

以下讨论的优化问题中存在随机变量，即不确定性的参数$c,a_i,b_i$
定义：凸优化问题$\min c^{T}x，s.t{a}_i^{T}x\le b_i,i=1,...,m$
接下来针对不确定性参数$a_i$进行处理，有以下两种方案。

利用确定约束转化为SOCP问题–deterministic approach

利用确定性的模型，强制要求所有点都符合参数的限制：$a_i\in {\epsilon }_i$
定义：凸优化问题$\min c^{T}x,s.t{a}_i^{T}x\le b_i,\forall a_i\in {\epsilon }_i,i=1,...,m$

• 设置椭球ellipsoid的限制${\epsilon }_i=\{\overline{a_i}+P_i\mu |||u|{|}_2\le 1\}(\overline{a_i}\in R^n,P_i\in R^{n\times n})$
  $\underset{a_i\in {\epsilon }_i}{\sup }(a_i^{T}x)=\underset{||\mu |{|}_2\le 1}{\sup }({\overline{a_i}}^{T}x+(P_i\mu {)}^{T}x)={\overline{a_i}}^{T}x+\underset{||\mu |{|}_2\le 1}{\sup }((P_i\mu {)}^{T}x)$
  $\stackrel{\mu 最大是1}{}{\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2||\mu |{|}_2={\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2$
• 代入线性不等式：${\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2\le b_i,i=1,...,m$
• 所以转变为求解SOCP问题$\min c^{T}x,s.t||P_i^{T}x|{|}_2\le -{\overline{a_i}}^{T}x+b_i,i=1,...,m$

利用概率转化为SOCP问题–stochastic approach

要求有一定量的点符合线性不等式条件
定义：凸优化问题$\min c^{T}x,s.tprob(a_i^{T}x\le b_i)\ge \eta ,i=1,...,m$

• 假设部分参数符合高斯分布：$a_i\backsim N(\overline{a_i},{\sum }_i)，a_i^{T}x\backsim N({\overline{a_i}}^{T}x,x^T{\sum }_{i}x)$
• 标准化不等式：$P(a_i^{T}x\le b_i)=P(\frac{a_i^{T}x-{\overline{a_i}}^{T}x}{||{\sum }_i^{\frac{1}{2}}x|{|}_2}\le \frac{b_i-a}{||{\sum }_i^{\frac{1}{2}}x|{|}_2}$