【Robust学习笔记】Data-Driven Chance Constrained Programs over Wasserstein Balls

数据驱动下的机会约束优化

考虑下列形式的分布鲁棒优化问题：
$$\begin{array}{rl}\underset{\mathbf{x}\in \mathcal{X}}{\min }& {\mathbf{c}}^T\mathbf{x}\\ \text{s.t.}& \mathbb{P}\left[\tilde{\mathbf{\xi }}\in \mathcal{S}(\mathbf{x})\right]\ge 1-ϵ,\forall \mathbb{P}\in \mathcal{F}(\theta )\end{array}\text{\hspace{1em}(1)}$$ 其中 $\mathcal{X}\in {\mathbb{R}}^L$ 是一个紧多面体，$\mathcal{S}(\mathbf{x})\subseteq {\mathbb{R}}^K$ 是一个决策相关安全集( decision-dependent safety set) ，$\mathcal{F}(\theta )$ 是以 $\hat{\mathbb{P}}$ 为中心、$\theta$ 为半径的 Wasserstein Ball。这里 $\hat{\mathbb{P}}$ 是一组训练数据 ${\left\{{\hat{\mathbf{\xi }}}_i\right\}}_{i\in [N]}$ 的经验分布。

Wasserstein球的不确定度量化(Uncertainty Quantification)

假设 $\mathcal{S}\subseteq {\mathbb{R}}^K$，记 $\bar{\mathcal{S}}={\mathbb{R}}^K\setminus \mathcal{S}$ 为它的闭补集。考虑下面的不确定度量问题：
$$\underset{\mathbb{P}\in \mathcal{F}(\theta )}{\sup }\mathbb{P}\left[\tilde{\mathbf{\xi }}\notin \mathcal{S}\right].$$ 这里都假设 $\theta >0,ϵ\in (0,1)$。

记号：
(1) 记 $\text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}\right)$ 为 $\hat{\mathbb{P}}$ 对应的第 $i$ 个数据点和不安全集 $\bar{\mathcal{S}}$ 之间的距离，这里的距离是基于某个范数 $\Vert \cdot \Vert$。我们对样本数据集进行排序，使其满足
$$\text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}\right)\le \text{dist}\left({\hat{\mathbf{\xi }}}_j,\bar{\mathcal{S}}\right),\forall 1\le i\le j\le N$$ (2) 假设 $\text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}\right)=0$ 当且仅当 $i\in [I]$， 这里 $I$ 可以为0。
(3) 记 ${\mathbf{\xi }}_i^{\ast }\in \bar{\mathcal{S}}$ 为距离 ${\hat{\mathbf{\xi }}}_i$ 最近的不安全点。

定理. (Blanchet and Murthy 2016, Gao and Kleywegt 2016)
令 $j^{\ast }=\max \left\{j\in [N]\cup \{0\}|\sum _{i=1}^j\text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}\right)\le \theta N\right\}$. 则上述不确定度量问题可以由下面给出的最差情形分布 ${\mathbb{P}}^{\ast }\in \mathcal{F}(\theta )$ 来求解：
(1) 如果 $j^{\ast }=N$，则 $\underset{\mathbb{P}\in \mathcal{F}(\theta )}{\sup }\mathbb{P}\left[\tilde{\mathbf{\xi }}\notin \mathcal{S}\right]={\mathbb{P}}^{\ast }\left[\tilde{\mathbf{\xi }}\notin \mathcal{S}\right]=1$，其中
$${\mathbb{P}}^{\ast }=\frac{1}{N}\sum _{i=1}^I{\delta }_{{\hat{\mathbf{\xi }}}_i}+\frac{1}{N}\sum _{i=I+1}^N{\delta }_{{\mathbf{\xi }}_i^{\ast }}$$
(2) 如果 $j^{\ast }<N$，则 $\underset{\mathbb{P}\in \mathcal{F}(\theta )}{\sup }\mathbb{P}\left[\tilde{\mathbf{\xi }}\notin \mathcal{S}\right]={\mathbb{P}}^{\ast }\left[\tilde{\mathbf{\xi }}\notin \mathcal{S}\right]=\frac{j^{\ast }+p^{\ast }}{N}$，其中 $${\mathbb{P}}^{\ast }=\frac{1}{N}\sum _{i=1}^I{\delta }_{{\hat{\mathbf{\xi }}}_i}+\frac{1}{N}\sum _{i=I+1}^{j^{\ast }}{\delta }_{{\mathbf{\xi }}_i^{\ast }}+\frac{p^{\ast }}{N}{\delta }_{{\mathbf{\xi }}_{j+1}^{\ast }}++\frac{1-p^{\ast }}{N}{\delta }_{{\hat{\mathbf{\xi }}}_{j+1}}+\frac{1}{N}\sum _{i=j^{\ast }+2}^N{\delta }_{{\mathbf{\xi }}_i^{\ast }},$$ 且 $p^{\ast }=\frac{\theta N-\sum _{i=1}^{j^{\ast }}\text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}\right)}{\text{dist}\left({\hat{\mathbf{\xi }}}_{j^{\ast }+1},\bar{\mathcal{S}}\right)}$.

一般机会约束的Reformulation

对任何给定的决策变量 $\mathbf{x}\in \mathcal{X}$，存在$[N]$的一个置换$\pi (\mathbf{x})$，使得
$$\text{dist}\left({\hat{\mathbf{\xi }}}_{{\pi }_1(\mathbf{x})},\bar{\mathcal{S}}(\mathbf{x})\right)\le \text{dist}\left({\hat{\mathbf{\xi }}}_{{\pi }_2(\mathbf{x})},\bar{\mathcal{S}}(\mathbf{x})\right)\le \cdots \text{dist}\left({\hat{\mathbf{\xi }}}_{{\pi }_N(\mathbf{x})},\bar{\mathcal{S}}(\mathbf{x})\right)$$
定理. 对任何给定的决策变量 $\mathbf{x}\in \mathcal{X}$，模糊机会约束问题 (1) 等价于下面的确定性不等式： $$\frac{1}{N}\sum _{i=1}^{ϵN}\text{dist}\left({\hat{\mathbf{\xi }}}_{{\pi }_i(\mathbf{x})},\bar{\mathcal{S}}(\mathbf{x})\right)\ge \theta .$$
进一步，利用线性对偶，可以证明：
定理. 模糊机会约束问题 (1) 等价于:
$$\begin{array}{rl}\underset{\mathbf{s},t,\mathbf{x}}{\min }& {\mathbf{c}}^T\mathbf{x}\\ \text{s.t.}& ϵNt-{\mathbf{e}}^T\mathbf{s}\ge \theta N\\ & \text{dist}\left({\hat{\mathbf{\xi }}}_i,\bar{\mathcal{S}}(\mathbf{x})\right)\ge t-s_i,\forall i\in [N]\\ & \mathbf{s}\ge 0,\mathbf{x}\in \mathcal{X}.\end{array}$$

单个机会约束的Reformulation

命题. 假设对所有 $\mathbf{x}\in \mathcal{X}$，${\mathbf{A}}^T\mathbf{x}\ne \mathbf{b}$。对于安全集 $\mathcal{S}(\mathbf{x})=\{\mathbf{\xi }\in {\mathbb{R}}^K|(\mathbf{A}\mathbf{\xi }+\mathbf{a}{)}^T\mathbf{x}<{\mathbf{b}}^T\mathbf{\xi }+b\}$。问题 (1) 等价于:
$$\begin{array}{rl}{Z}_{ICC}^{\ast }=\underset{\mathbf{q},\mathbf{s},t,\mathbf{x}}{\min }& {\mathbf{c}}^T\mathbf{x}\\ \text{s.t.}& ϵNt-{\mathbf{e}}^T\mathbf{s}\ge \theta N\Vert \mathbf{b}-{\mathbf{A}}^T\mathbf{x}{\Vert }_{\ast }\\ & (\mathbf{b}-{\mathbf{A}}^T\mathbf{x}{)}^T{\hat{\mathbf{\xi }}}_i+b-{\mathbf{a}}^T\mathbf{x}+M{q}_i\ge t-s_i,\forall i\in [N]\\ & M(1-q_i)\ge t-s_i,\forall i\in [N]\\ & \mathbf{q}\in \{0,1{\}}^N,\mathbf{s}\ge 0,\mathbf{x}\in \mathcal{X}.\end{array}$$

联合机会约束（右侧不确定性）的Reformulation

命题. 对于安全集 $\mathcal{S}(\mathbf{x})=\{\mathbf{\xi }\in {\mathbb{R}}^K|{\mathbf{a}}_m^T\mathbf{x}<{\mathbf{b}}_m^T\mathbf{\xi }+b_m\}$。问题 (1) 等价于:
$$\begin{array}{rl}{Z}_{JCC}^{\ast }=\underset{\mathbf{p},\mathbf{q},\mathbf{s},t,\mathbf{x}}{\min }& {\mathbf{c}}^T\mathbf{x}\\ \text{s.t.}& ϵNt-{\mathbf{e}}^T\mathbf{s}\ge \theta N\\ & p_i+M{q}_i\ge t-s_i,\forall i\in [N]\\ & M(1-q_i)\ge t-s_i,\forall i\in [N]\\ & \frac{{\mathbf{b}}_m^T{\hat{\mathbf{\xi }}}_i+b_m-{\mathbf{a}}_m^T\mathbf{x}}{\Vert {\mathbf{b}}_m{\Vert }_{\ast }}\ge p_i,\forall m\in [M],\forall i\in [N]\\ & \mathbf{q}\in \{0,1{\}}^N,\mathbf{s}\ge 0,\mathbf{x}\in \mathcal{X}.\end{array}$$

3. Tractable Safe Approximations

3.1 单个机会约束

$Z_{ICC}^{\ast }=\underset{(\mathbf{x},\mathbf{s},t)\in {\mathcal{C}}_{ICC}}{\min }{\mathbf{c}}^T\mathbf{x}$
其中
$${\mathcal{C}}_{ICC}=\left\{(\mathbf{x},\mathbf{s},t)\in \mathcal{X}\times {\mathbb{R}}_{+}^N\times \mathbb{R}|\begin{array}{rl}& ϵNt-{\mathbf{e}}^T\mathbf{s}\ge \theta N\Vert \mathbf{b}-{\mathbf{A}}^T\mathbf{x}{\Vert }_{\ast }\\ & {\left((\mathbf{b}-{\mathbf{A}}^T\mathbf{x}{)}^T{\hat{\mathbf{\xi }}}_i+b-{\mathbf{a}}^T\mathbf{x}\right)}^{+}\ge t-s_i,\forall i\in [N]\end{array}\right\}$$

${\mathcal{C}}_{ICC}$ 是非-凸的，可以需要找一些凸集来逼近它。
$${\mathcal{C}}_{ICC}(\mathbf{k})=\left\{(\mathbf{x},\mathbf{s},t)\in \mathcal{X}\times {\mathbb{R}}_{+}^N\times \mathbb{R}|\begin{array}{rl}& ϵNt-{\mathbf{e}}^T\mathbf{s}\ge \theta N\Vert \mathbf{b}-{\mathbf{A}}^T\mathbf{x}{\Vert }_{\ast }\\ & k_i\left((\mathbf{b}-{\mathbf{A}}^T\mathbf{x}{)}^T{\hat{\mathbf{\xi }}}_i+b-{\mathbf{a}}^T\mathbf{x}\right)\ge t-s_i,\forall i\in [N]\end{array}\right\}$$

命题. 对于任何凸集 $\mathcal{W}\subseteq {\mathcal{C}}_{ICC}$，存在 $\mathbf{k}\in [0,1{]}^N$，使得 $\mathcal{W}\subseteq {\mathcal{C}}_{ICC}(\mathbf{k})\subseteq {\mathcal{C}}_{ICC}$。

$Z_{ICC}^{\ast }(\mathbf{k})=\underset{(\mathbf{x},\mathbf{s},t)\in {\mathcal{C}}_{ICC}(\mathbf{k})}{\min }{\mathbf{c}}^T\mathbf{x}$

命题. $Z_{ICC}^{\ast }=\underset{\mathbf{k}\in [0,1{]}^N}{\min }{Z}_{ICC}^{\ast }(\mathbf{k})$。

命题. $\underset{k\in [0,1]}{\min }{Z}_{ICC}^{\ast }(k\mathbf{e})=Z_{ICC}^{\ast }(\mathbf{e})$。

CVaR逼近

$$\begin{array}{rl}& \mathbb{P}[\tilde{\mathbf{\xi }}\in \mathcal{S}(\mathbf{x})]\ge 1-ϵ\\ ⟺& \mathbb{P}\left[(\mathbf{A}\tilde{\mathbf{\xi }}+\mathbf{a}{)}^T\mathbf{x}\ge {\mathbf{b}}^T\tilde{\mathbf{\xi }}+b\right]\le ϵ\\ ⟺& \mathbb{P}{\text{-VaR}}_{ϵ}\left({\mathbf{a}}^T\mathbf{x}-b+({\mathbf{A}}^T\mathbf{x}-\mathbf{b}{)}^T\tilde{\mathbf{\xi }}\right)\le 0\\ ⟸& \mathbb{P}{\text{-CVaR}}_{ϵ}\left({\mathbf{a}}^T\mathbf{x}-b+({\mathbf{A}}^T\mathbf{x}-\mathbf{b}{)}^T\tilde{\mathbf{\xi }}\right)\le 0\end{array}$$

$$\begin{array}{r}{Z}_{\text{CVaR}}^{\ast }=\{\begin{array}{l}\underset{\mathbf{x}\in \mathcal{X}}{\min }{\mathbf{c}}^T\mathbf{x}\\ \text{s.t.}\underset{\mathbb{P}\in \mathcal{F}(\theta )}{\sup }\mathbb{P}{\text{-CVaR}}_{ϵ}\left({\mathbf{a}}^T\mathbf{x}-b+({\mathbf{A}}^T\mathbf{x}-\mathbf{b}{)}^T\tilde{\mathbf{\xi }}\right)\le 0\end{array}\end{array}$$

命题. $Z_{\text{CVaR}}^{\ast }=Z_{\text{ICC}}^{\ast }(\mathbf{e})$