凸优化第四章凸优化问题 4.4二次优化问题

4.4二次优化问题

  1. 例子
  2. 二次锥规划

二次优化

当凸优化问题的目标函数是凸二次型并且约束函数为仿射函数时,问题为二次规划

minimize \, \, (1/2)x^TPx+q^Tx+r \\ subject \, \, to \, \, \begin{matrix} Gx\preceq h\\ Ax=b \end{matrix} \\ P \in S_+^n,G \in R^{m\times n},A \in R^{p\times n}

二次约束二次规划

minimize \, \, (1/2)x^TP_0x+q_0^Tx+r_0 \\ subject \, \, to \, \, \begin{matrix} (1/2)x^TP_ix+q_i^Tx+r_i\leq 0,i=1,2\cdots m,\\ Ax=b \end{matrix} \\ P_i \in S_+^n,i=0,1\cdots m,A \in R^{p\times n}

二次约束二次规划,即目标函数和不等式约束函数均为凸二次型。

这里记LP 为线性规划,QP为二次规划,QCQP为二次约束二次规划,可知LP \subseteq QP \subseteq QCQP

当QCQP中的P_i=0,i=1,2\cdots m时,QCQP变为QP。

当QP中的P_0=0时,QP变为LP。

例子

最小二乘

minimize \,\begin{Vmatrix} Ax-b \end{Vmatrix}_2^2

无约束的情况下,最小二乘问题是一个二次规划。

解析解:是A 的伪逆。

增加线性约束:l\leq x\leq u,也是一个二次规划问题。

如果约束为:x_1\leq x_2\leq \cdots \leq x_n,对约束进行整理,整理成:x_{i+1}-x_i\geq 0,i=1,2\cdots n-1,也是线性约束,也是二次规划问题。

关于随机费用的线性规划

考虑线性规划:

minimize \, \, \bar{c}^Tx+\gamma x^T\Sigma x=E(c^Tx+\gamma \, \mathbf{var}(c^Tx))\\ subject \, \, to \, \, \begin{matrix} Gx\preceq h\\ Ax=b \end{matrix} \\ P \in S_+^n,G \in R^{m\times n},A \in R^{p\times n}

其中,c是随机向量,\bar{c}是c的均值,\Sigma是协方差,且\mathbf{var}(c^Tx)=E(c^Tx-E(c^Tx))^2=E(c^Tx-\bar{c}^Tx)^2=E(x^T(c^T-\bar{c}^T)^2x)

根据协方差公式:cov(X,Y)=E((X-E(X))(Y-E(Y)))\Rightarrow cov(c,c)=E((c-\bar{c})(c-\bar{c})^T)

\Rightarrow\mathbf{ var}(c^Tx)=x^T\Sigma x

故问题:

minimize \, \, \bar{c}^Tx+\gamma x^T\Sigma x=E(c^Tx+\gamma \, (x^T\Sigma x))\\ subject \, \, to \, \, \begin{matrix} Gx\preceq h\\ Ax=b \end{matrix} \\ P \in S_+^n,G \in R^{m\times n},A \in R^{p\times n}

\gamma\geq 0,称为风险回避参,它越大,表示越在意费用方差,即越希望费用方差充分小。

二阶锥规划

二阶锥规划(SOCP):

minimize \, \, f^Tx \\ subject \, \, to \, \, \begin{matrix} \begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq c_i^Tx+d_i\\ Fx=g \end{matrix} \\ x \in R^n,A_i \in R^{n_i\times n},F \in R^{p\times n}

\begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq c_i^Tx+d_i这种形式的约束为二阶锥约束。因为(A_ix+b_i, c_i^Tx+d_i)\in二阶锥R^{(n_i+1)}中。

c_i为0时,SOCP退化为QCQP。当n_i=0时,SOCP退化为LP问题。

鲁棒线性规划

minimize \, \, c^Tx\\ subject \, \, to \, \, a_i^Tx \leq b_i,i=1,2\cdots m

其中参数a_i,b_i,c含有一些不确定性或变化。

针对这种问题有两种解法(1)确定性模型(2)随机模型。

简化起见,假设只有a_i有不确定性,其他都是确定的。

(1)确定性模型

已知a_i在给定的椭球中:a_i \in \varepsilon _i=\left \{ \bar{a_i}+P_iu|\begin{Vmatrix} u \end{Vmatrix}_2\leq 1 \right \},所以问题变成:

minimize \, \, c^Tx\\ subject \, \, to \, \, a_i^Tx \leq b_i,\forall \, a_i \in \varepsilon _i,i=1,2\cdots m

约束又可以表示成:sup\left \{ a_i^Tx|a_i \in \varepsilon _i \right \}\leq b_i

sup\left \{ a_i^Tx|a_i \in \varepsilon _i \right \}=\bar{a_i}x+sup\left \{ u^TP_i^Tx|\begin{Vmatrix} u \end{Vmatrix}_2\leq 1 \right \}=\bar{a_i}x+\begin{Vmatrix} P_i^Tx \end{Vmatrix}_2

所以上述约束变为\bar{a_i}x+\begin{Vmatrix} P_i^Tx \end{Vmatrix}_2\leq b_i

问题变成:

minimize \, \, c^Tx\\ subject \, \, to \, \, \bar{a_i}x+\begin{Vmatrix} P_i^Tx \end{Vmatrix}_2\leq b_i,i=1,2\cdots m

(2)随机模型

设参数a_i是独立搞死随机变量,均值为\bar{a_i},协方差为\Sigma _i,要求每一个约束a_i^Tx \leq b_i成立的概率超过\eta,且\eta \geq 0.5,即prob(a_i^Tx \leq b_i)\geq \eta

u=a_i^Tx,均值\bar{a_i}^Tx,方差x^T\Phi _ix,因此

prob(a_i^Tx \leq b_i)=prob(\frac{a_i^Tx-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\leq \frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})

所以

prob(a_i^Tx\leq b_i)=\Phi (\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})\Phi(x)= (\frac{1}{\sqrt{2\pi }})\int_{-\infty }^{x}e^{-t^2/2}dt

所以:prob(a_i^Tx \leq b_i)\geq \eta可以写成:

\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\geq \Phi ^{-1}(\eta)\Rightarrow \bar{a_i}^Tx+\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2\Phi ^{-1}(\eta)\leq b_i

问题:

minimize \, \, c^Tx\\ subject \, \, to \, \, prob(a_i^Tx \leq b_i)\geq \eta,i=1,2\cdots m

变为:

minimize \, \, c^Tx\\ subject \, \, to \, \, \bar{a_i}^Tx+\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2\Phi ^{-1}(\eta)\leq b_i,i=1,2\cdots m

 

 

 

你可能感兴趣的:(凸优化)