Physics-informed semantic inpainting: Application to geostatistical modeling

论文信息

题目：Physics-informed semantic inpainting: Application to geostatistical modeling

作者：Qiang Zhenga,b, Lingzao Zenga,∗, Zhendan Caoc, George Em Karniadakisb,d,

• a Institute of Soil and Water Resource and Environmental Science, Zhejiang Provincial Key Laboratory of Agricultural Resources and Environment, College of Environmental and Resource
  Sciences, Zhejiang University, Hangzhou, China
• b Division of Applied Mathematics, Brown University, Providence, RI, USA
• c Department of Geology and Geological Engineering, South Dakota School of Mines and
  Technology, Rapid City, SD, USA
• d Pacific Northwest National Laboratory, Richland, WA, USA

期刊会议：

• JCP

年份：

论文地址：

代码：

摘要

地质统计模拟的一个基本问题是根据有限的测量数据和一定的先验空间统计数据来推断非均质地质场。Semantic inpainting，一种使用深层生成模型进行图像处理的技术近来被应用解决这个问题，展示了它在处理复杂空间模式方面的有效性，然而，原始的语义嵌入框架只包含直接测量的信息，而在地质统计学中，间接测量往往是丰富的。To overcome this limitation, here we propose a physics-informed semantic inpainting framework, employing the Wasserstein Generative Adversarial Network with Gradient Penalty (WGAN-GP) and jointly incorporating the direct and indirect measurements by exploiting the underlying physical laws. 对一个512维高维问题的仿真结果表明，该方法满足物理守恒定律，与仅使用直接测量相比，提高了图像的inpainting performance。

内容

动机

动机：

问题定义

The hydraulic head $(h)$ 是与the hydraulic conductivity $(K)$ 通过下面方程关联

$$\nabla \cdot [K(\mathbf{x})\nabla h(\mathbf{x})]+q(\mathbf{x})=0,\mathbf{x}\in \mathcal{X}--（1）$$
满足边界
$$\begin{array}{rlrl}h(\mathbf{x})& =h_D(\mathbf{x}),& & \mathbf{x}\in {\Gamma }_D\\ \nabla h(\mathbf{x})\cdot n& =g(\mathbf{x}),& \mathbf{x}& \in {\Gamma }_N\end{array}$$
where $x$ is the coordinates and $q(x)(L3=T)$ is the source (or sink) term. N是诺伊曼边界的单位法向量${\Gamma }_N$, 狄里克雷边界条件${\Gamma }_D$是狄里克雷边界条件。给定一些二维K，我们可以通过使用数值求解器ModFlow[18]得到相应的h。因此，该方程可以提供成对的二维图像K和h数据集来训练GAN模型。

方法

3.1 Physics-informed WGAN-GP

提出的初始GAN由一个发生器和一个鉴别器组成，在zero-sum game中相互竞争以达到纳什均衡(Nash equilibrium)。$\mathcal{G}$是生成器，产生与真样品非常相似的假样品，为两个分布构建映射，$P_{\mathrm{z}}\to P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}$，即输入$\mathbf{z}\in P_{\mathbf{z}}$产生一个fake样本$\mathcal{G}(\mathbf{z})$，假设这个fake样本共享训练集$\mathbf{y}\in P_{\text{data }}$。辨别器D用于检测其输入是采样自真实数据分布$P_{\text{data }}$还是伪数据分布$P_{\mathcal{G}(\mathbf{z})}$，因此，生成器和辨别器，都是神经网络，处于竞争状态，即生成器试图欺骗甄别器，而辨别器，能够获得真实数据，试图避免被愚弄。当鉴别器成功时，它也提供有用的反馈来帮助生成器改进，在收敛后，双方都获得了最大的知识给定真实数据集。
在原始的GANs中，神经网络通过以下损失函数进行训练:
$$\underset{\mathcal{G}}{\min }\underset{\mathcal{D}}{\max }{E}_{\mathbf{y}\sim P_{\text{data }}}[\log (\mathcal{D}(\mathbf{y})]+E_{\mathbf{z}\sim P_{\mathbf{z}}}[\log (1-\mathcal{D}(\mathcal{G}(\mathbf{z})))]$$
在实际应用中，对生成器和鉴别器进行迭代训练，目的是使$P_{\mathcal{G}(\mathbf{z})}$接近$P_{\text{data }}$，等同于最小化它们之间的Jensen-Shannon (JS)散度。然而，JS的散度并不总能为生成器提供有效的梯度，特别是当这两个分布集中在低维流形上时,因此，初始GANs的训练通常是不稳定的。为了解决这个问题，Wassestein GANs (WGANs)被提出，将JS divergence 变成Wasserstein-1 distance，在温度约束下，对于生成器中的参数，哪一个是几乎处处连续可微的。更确切地说，对辨别器施加的约束是Lipschitz连续性，这是通过在训练过程中强制辨别器的参数有界来实现的。为了使WGANs的训练更加稳定。WGANs with gradient penalty被develop去替代weights clipping with adding gradient penalty to the the discriminator. The loss functions for the generator and discriminator of WGAN-GP are defined as
$$\begin{array}{l}{\mathcal{L}}_{\mathcal{G}}=-E_{\mathbf{z}\sim P_{\mathbf{z}}}[\mathcal{D}(\mathcal{G}(\mathbf{z}))]\\ {\mathcal{L}}_{\mathcal{D}}=E_{\mathbf{z}\sim P_{\mathbf{z}}}[\mathcal{D}(\mathcal{G}(\mathbf{z}))]-E_{\mathbf{y}\sim P_{\text{data }}}[\mathcal{D}(\mathbf{y})]+\lambda E_{\hat{\mathbf{z}}\sim P_{\hat{z}}}\left[{\left({\Vert {\nabla }_{\hat{\mathbf{z}}}\mathcal{D}(\hat{\mathbf{z}})\Vert }_2-1\right)}^2\right]\end{array}------(4)$$
In this paper, we select the WGAN-GP with convolutional architectures as the base model. 因为在卷积网络中，输入是像素值而不是空间坐标。在这里，我们使用Sobel滤波器分别对以下3×3个核进行一次卷积，来估计水平和垂直的空间梯度
$$\mathcal{H}=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right],\mathcal{V}=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$$
这种通过卷积核计算空间梯度的方法等效于光滑有限差分方法
考虑到饱和流的偏微分方程是二阶的，这可能会给使用Sobel滤波器计算梯度带来一定的误差，我们引入一个额外的变量，
因此，最开始定义的式(1)可重铸为两个方程组:
$$\begin{array}{rl}\mathcal{F}& =-K\nabla h\\ \nabla \cdot \mathcal{F}& =q\end{array}$$
the parameter (K), state (h) and additional variable (F) are distributed as different channels with the same image sizes. 通量F可分为水平通量和垂直通量两种，因此它们占了两个通道. based on equation (6), the residual of the PDE in the form of
the loss can be written as
$${\mathcal{L}}_r=\frac{1}{N}\left(\Vert \hat{\mathcal{F}}+\hat{\mathbf{K}}\odot \nabla \hat{\mathbf{h}}{\Vert }_2^2+\Vert \nabla \cdot \hat{\mathcal{F}}-\mathbf{q}{\Vert }_2^2\right)$$
$${\mathcal{L}}_b=\frac{1}{M}\left({\Vert \hat{\mathbf{h}}\left({\mathbf{x}}_D\right)-{\mathbf{h}}_D\Vert }_2^2+{\Vert \hat{\mathcal{F}}\left({\mathbf{x}}_N\right)-{\mathcal{F}}_N\Vert }_2^2\right),{\mathbf{x}}_D\in {\Gamma }_D,{\mathbf{x}}_N\in {\Gamma }_N$$

Eventually, the incorporation of physics can be realized
by adding these physical constraints to the original generator loss,
$${\mathcal{L}}_{\mathcal{G}}^{\text{new }}={\mathcal{L}}_{\mathcal{G}}+{\lambda }_r{\mathcal{L}}_r+{\lambda }_b{\mathcal{L}}_b$$

Semantic inpainting via physics-informed WGAN-GP

语义补绘(Semantic inpainting)的任务是利用已知的像素和图像应该是什么样子的先验来填充图像缺失的区域。这与基于点测量和先验信息(如地质场的空间统计特性)推断大尺度地质场非常相似. 现在的semantic inpainting他们只使用直接点测量来进行语义inpainting;换句话说，仅利用液压传导率(K)点的测量值来推断整个K场。在本文中，我们提出了一个基于物理的WGAN-GP框架，其目的是通过强制问题的适当物理来合并间接测量。
the generator$\mathcal{G}$产生$\mathbf{y}=[\mathbf{K},\mathbf{h}]$满足方程（1），通过采Z然后映射$\mathbf{y}=\mathcal{G}(\mathbf{z})$. 根据训练好的，$\mathcal{G}$ and $\mathcal{D}$. 生成基于一组点测量的真实样本${\mathbf{K}}_{\mathrm{o}\mathrm{b}\mathrm{s}}$ and ${\mathbf{h}}_{\mathrm{o}\mathrm{b}\mathrm{s}}$,这可以通过固定G和D中的权重来实现，并优化z以基于点测量生成真实的样本. 为了保证生成的样本的真实性，我们希望样本y能够紧密支持真实的数据分布Pdata，也就是说生成的样本应该得到鉴别器D的高分。这可以通过强制执行先前的损失来惩罚不现实的样本来实现。根据公式4中的原generator loss设计了先验loss

$${\mathcal{L}}_p(\mathbf{z})=-\mathcal{D}(\mathcal{G}(\mathbf{z}))$$
我们还希望生成的样本尊重点测量，即在测量位置生成的预测应该完全匹配观察值。这可以通过应用上下文丢失（context loss）来实现，上下文丢失用于弥补预测和测量之间的不匹配。通过利用掩蔽矩阵M，它在测量位置的值为1，在其他位置的值为0，我们可以定义上下文损失如下

$${\mathcal{L}}_c(\mathbf{z}\mid \mathbf{y},\mathbf{M})={\Vert {\mathbf{M}}_{\mathbf{K}}\odot \left(\mathcal{G}(\mathbf{z}{)}^{\#\mathbf{K}}-{\mathbf{K}}_{\mathrm{o}\mathrm{b}\mathrm{s}}\right)\Vert }_1+{\Vert {\mathbf{M}}_{\mathbf{h}}\odot \left(\mathcal{G}(\mathbf{z}{)}^{\#\mathbf{h}}-{\mathbf{h}}_{\mathrm{o}\mathrm{b}\mathrm{s}}\right)\Vert }_1$$

The total loss for finding the optimal latent variable z is defined as
$${\mathcal{L}}_{\mathbf{z}}={\mathcal{L}}_c(\mathbf{z}\mid \mathbf{y},\mathbf{M})+{\lambda }_p{\mathcal{L}}_p(\mathbf{z})$$

创新：

结论

这项工作中，我们扩展了原始的语义inpainting到一个物理信息版本，强调通过开发潜在的物理来联合合并直接和间接的测量. 具体地说，我们提出了一种物理形成的WGAN-GP方法，该方法经过预先训练，可以从大量的无条件实现中学习物理规律，随后我们将其用于执行inpaint任务。我们使用卷积架构来处理高维图像，并使用Sobel过滤器基于控制数学模型对物理约束进行编码. 在一个地下水流动问题中，非均质水传导率场(K)需要通过直接测量和间接压头测量来推导。我们的结果表明，物理信息可以有效地整合到预先训练好的物理信息WGAN-GP中，而h测量确实可以帮助改善K场的inpaint结果。

我们的研究结果对于利用深度学习模型解决高维问题具有重要意义，同时满足基本物理定律、先验空间统计和原位测量。在设计有效的实验策略以获得信息最丰富的测量时，一个重要的开放问题是通过主动学习技术将不确定性量化，例如，在[25]中看到初步结果。在未来的工作中，我们计划将完全不确定度量化的物理信息WGAN-GP。

不足

不懂

可借鉴地方