论文理解：“Quadratic Residual Networks: A New Class of Neural Networks forSolving Forward and Inverse P“

Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs

译：二次残差网络一类新的神经网络涉及偏微分方程的物理正反问题的求解

---

目录

一、引言

二、二次残差网络

三、实验

---

一、引言

        大多数现有的PINN只使用普通的DNN架构。因此，PINN公式通常需要大量的网络参数和训练时间来以可接受的精度近似复杂的偏微分方程。这促使作者提出这样一个问题：能否开发一种每一层都具有更高容量的神经网络架构，以比普通dnn更少的参数逼近复杂函数?

        作者提出了二次残差网络(QRes)，一种新的神经网络结构，赋予二次非线性，然后在网络的每一层应用激活函数。下面是普通网络和本文网络的结构图：

二、二次残差网络

        一个普通的DNN层可以表示为，注意Wx + b是线性的，只有σ给输出带来了非线性。因此需要大量宽度合理的DNN层，才能以可接受的精度捕获足够的非线性。

        相反，本文的QRes网络的每一层考虑二次残差项来贡献额外的非线性。QRes单个层可以表示为，其中o表示Hadamard乘积(同维度矩阵相对应元素相乘)，红色的项是二次残差项(作者之所以称之为“残差”，因为去掉它只会得到一个简单的DNN)。因此，该网络在解决一般问题可以通过学习得到变成普通DNN。然而，在需要比普通DNN功能容量更高的神经网络的问题中，QRes可以打开二次残差项，利用有效的网络深度和宽度捕获更多的非线性。

三、实验

本文在如下方程对比了普通DNN和本文的网络结构：

精度的对比：

参数效率的对比：

收敛速度的对比：

与其他基线比较：

        APINN：

这里n=5。

        ISC(标黄部分)：

        QSC：

        对于QRes网络，通过调整网络宽度来测试两种网络大小。QRes-full的参数数量与PINN和APINN大致相同，而QRes-lite的参数数量约为前者的一半。

结果如下：

推广到一般ML问题上：为了分析QRes和DNN在一般ML问题中学习更高频率的能力，作者进行了一个拟合单频正弦波的组合的实验，任务是使用均方误差损失函数在合成曲线(如8a所示)上拟合1k个数据点。结果如图8所示：

代码：jayroxis/qres: Learning with Higher Expressive Power than Neural Networks (On Learning PDEs) (github.com)