Farkas'Lemma 和 S-Lemma
A Fundamental Question： 给定一个（不）等式，如何寻找其等价形式？
∙ \bullet\; ∙ 对于线性或者一般的凸（不）等式 ，有 Farkas引理
∙ \bullet\; ∙ 对于二次（不）等式 ，则有 S-引理 ------------------- S-Lemma本质上是Hilbert零点定理的特例？
凸锥的对偶的计算
Farkas引理
These results essentially state that a concave inequality is a (logical) consequence of some convex inequalities if and only if it is a nonnegative linear combination of those convex inequalities and an identically true inequality. This is important, since it is relatively easy to check if an inequality is a linear combination of some other inequalities.
定理. (Farkas’ lemma) 假设 A ∈ R m × n A\in\mathbb{R}^{m\times n} A∈Rm×n， b ∈ R m b\in\mathbb{R}^m b∈Rm。则 A x = b ( x ≥ 0 ) Ax=b \;(x\ge 0) Ax=b(x≥0) 有可行解当且仅当 A T y ≤ 0 ⇒ b T y ≤ 0 A^Ty\leq 0\Rightarrow b^Ty\leq 0 ATy≤0⇒bTy≤0。
Proof. 定义一个凸锥 K = { y ∣ A T y ≤ 0 } \mathcal{K}=\{y\,|\,A^Ty\leq 0\} K={y∣ATy≤0} 它的对偶锥是 K ∗ = { A x ∣ x ≥ 0 } \mathcal{K}^*=\{Ax\,|\,x\ge 0\} K∗={Ax∣x≥0} 而根据定义有 K ∗ = { b ∣ b T y ≤ 0 , ∀ y ∈ K } \mathcal{K}^*=\{b\,|\,b^Ty\leq 0, \; \forall y\in\mathcal{K}\} K∗={b∣bTy≤0,∀y∈K} 注意到 A x = b ( x ≥ 0 ) Ax=b\,(x\ge 0) Ax=b(x≥0) 有可行解等价于 b ∈ K ∗ b\in\mathcal{K}^* b∈K∗，引理即可得证。
定理. (Farkas’ lemma variant) 假设 A ∈ R m × n A\in\mathbb{R}^{m\times n} A∈Rm×n， b ∈ R m b\in\mathbb{R}^m b∈Rm。则 A x ≤ b Ax\leq b Ax≤b 有可行解当且仅当 A x = 0 ( x ≥ 0 ) ⇒ b T x ≥ 0 Ax=0\;(x\ge 0)\Rightarrow b^Tx\ge 0 Ax=0(x≥0)⇒bTx≥0。
定理. 假设 K K K 是一个闭凸锥， K ∗ K^* K∗ 是其对偶，则 x ∈ K x\in K x∈K 当且仅当对任意 y ∈ K ∗ y\in K^* y∈K∗ 有 y T x ≥ 0 y^T x\ge 0 yTx≥0。
定理. (Farkas’ Theorem) 假设 f , g 1 , ⋯ , g m : R n → R f,g_1,\cdots,g_m:\mathbb{R}^n\rightarrow\mathbb{R} f,g1,⋯,gm:Rn→R 是一组凸函数， C ⊂ R n \mathcal{C}\subset\mathbb{R}^n C⊂Rn 是一个凸集，如果 g 1 , ⋯ , g m g_1,\cdots,g_m g1,⋯,gm 满足 Slater 条件，也即，存在 C \mathcal{C} C 的一个内点 x ˉ \bar{x} xˉ 使得 g i ( x ˉ ) < 0 , i = 1 , ⋯ , m g_i(\bar{x})<0, i=1,\cdots,m gi(xˉ)<0,i=1,⋯,m。则下列两组论述等价：
(1) 不等式组
f ( x ) < 0 f(x)<0 f(x)<0 g i ( x ) ≤ 0 , i = 1 , ⋯ , m g_i(x)\leq0, i=1,\cdots,m gi(x)≤0,i=1,⋯,m x ∈ C x\in\mathcal{C} x∈C 无解。
(2) 存在 y 1 , ⋯ , y m ≥ 0 y_1,\cdots, y_m\ge 0 y1,⋯,ym≥0，使得对所有的 x ∈ C x\in\mathcal{C} x∈C 有
f ( x ) + ∑ i = 1 m g i ( x ) ≥ 0 f(x)+\mathop{\sum}\limits_{i=1}^m g_i(x) \ge 0 f(x)+i=1∑mgi(x)≥0
Proof. 定理的证明主要是基于分离技巧 (separation argument) ，一个关键的事实是：
集合 S = { ( u , v 1 , ⋯ , v m ) ∈ R m + 1 : ∃ x ∈ R n , f ( x ) < u , g i ( x ) ≤ v i , i = 1 , ⋯ , m } S=\{(u,v_1,\cdots,v_m)\in\mathbb{R}^{m+1}:\exist\;x\in\mathbb{R}^n,f(x)<u,g_i(x)\leq v_i, i=1,\cdots,m\} S={(u,v1,⋯,vm)∈Rm+1:∃x∈Rn,f(x)<u,gi(x)≤vi,i=1,⋯,m} 是一个凸集，并且 (1) 中的不等式组无解当且仅当 0 ∉ S 0\notin S 0∈/S。
关于SDP的Farkas引理，可以参考 Ye 的 Linear Conic Programming 第28页。
S-引理
定理. (S-lemma, Yakubovich) 假设 f , g : R n → R f,g:\mathbb{R}^n\rightarrow\mathbb{R} f,g:Rn→R 是二次函数，并且存在 x ˉ ∈ R n \bar{x}\in\mathbb{R}^n xˉ∈Rn 使得 g ( x ˉ ) < 0 g(\bar{x})<0 g(xˉ)<0。则下列两个论述等价：
(1) 不等式组
f ( x ) < 0 f(x)<0 f(x)<0 g ( x ) ≤ 0 g(x)\leq 0 g(x)≤0 无解
(2) 存在 y ≥ 0 y\ge 0 y≥0 使得对任意 x ∈ R n x\in\mathbb{R}^n x∈Rn，有
f ( x ) + y g ( x ) ≥ 0 f(x)+yg(x)\ge 0 f(x)+yg(x)≥0