Implicit Neural Representations with Periodic Activation Functions

NeurIPS-2020-implicit-neural-representations-with-periodic-activation-functions-Paper

1 摘要

\quad 由神经网络参数化的隐式定义的、连续的、可微的信号表示已经成为一种强大的范例，提供了许多比传统表示法更可能的好处。然而，目前用于这种隐式神经表示的网络结构不能对信号进行精细的建模,它们也无法准确地对空间和时间导数进行建模，而空间和时间导数是表示由微分方程式隐含定义的信号所必需的。我们建议将周期激活函数用于隐式神经表示，并证明这些被称为正弦表示网络或SIREN的网络非常适合表示复杂的自然信号及其派生信号。
\quad 我们分析了SIREN的激活统计学，提出了一个原则性的初始化方案，并演示了图像、波场、视频、声音、三维形状及其衍生的表示。此外，我们还展示了如何利用SIREN来解决具有挑战性的边值问题，例如特定的Eikonal方程(产生符号距离函数)、泊松方程、Helmholtz方程和波动方程。最后，我们将SIREN与超网络相结合来学习警报器函数空间上的先验。有关建议的方法和所有应用程序的视频概述，请参阅项目网站。

\quad 隐式函数表示的由来。泛函C的输入是空间坐标或时空坐标x，Φ是由神经网络参数化的，把x映射成其他量，同时满足（1）的约束。
\quad 因此，Φ由C建立的关系隐式定义，我们指的是神经网络——能够参数化这样的隐式定义的函数，称为隐式神经表示。

个人理解，函数$\Phi \left(x\right)$和$x$不能显式表示成$y=kx$的形式，但是可以用函数的函数（泛函）的方式写成显式关系，如式（1）。

\quad 大量的科学问题可以用此方法，正如我们在本文中所展示的，跨科学领域的各种各样的问题都属于这种形式，例如使用连续可微表示法在图像、视频和音频处理中建模许多不同类型的离散信号，通过符号距离函数[1-4]学习三维形状表示，以及更一般地解决边值问题，例如泊松方程、亥姆霍兹方程或波动方程。

\quad 与其他方法相比，连续参数化提供了一些好处，例如基于离散网格的表示，例如，由于Φ是在x的连续域上定义的，因此它可以比离散表示更有效地提高内存效率，使其能够建模不受网格分辨率限制但受底层网络架构容量限制的精细细节。作为一个例子，我们展示了SIREN架构如何通过仅使用几百KB的网络来表示复杂的3D形状，而相同数据集的原始网格表示需要数百MB。
\quad 可微意味着可以通过分析计算梯度和高阶导数，例如使用自动微分，这再次使这些模型独立于传统的网格分辨率。最后，通过表现良好的导数，隐式神经表示可以为求解微分方程等逆问题提供新的工具箱
\quad 由于这些原因，隐式神经表征在过去一年中引起了极大的研究兴趣（第2节）。这些最新的表示大多建立在基于ReLU的多层感知器（MLP）上。虽然这些架构很有前途，但它们缺乏在底层信号中表示精细细节的能力，并且通常不能很好地表示目标信号的导数。这在一定程度上是由于ReLU网络是分段线性的，其二阶导数处处为零，因此无法对自然信号的高阶导数中包含的信息进行建模。虽然替代激活，如tanh或softplus，能够表示高阶导数，但我们证明，它们的导数通常表现不好，也无法表示精细细节。
\quad 为了解决这些局限性，我们利用具有周期激活函数的MLP进行隐式神经表示。我们证明，这种方法不仅能够比ReLU MLP或并行工作[5]中提出的位置编码策略更好地表示信号中的细节，而且这些属性也唯一适用于导数，这对于我们在本文中探索的许多应用至关重要。
\quad 总之，我们的工作贡献包括：
\quad •使用周期激活函数的连续隐式神经表示法，该函数稳健地拟合复杂信号，如自然图像和3D形状及其导数。
\quad •用于训练这些表示的初始化方案，并验证可以使用超网络学习这些表示的分布。
\quad •演示图像、视频和音频表示中的应用；三维形状重建；求解一阶微分方程以从其梯度估计信号；求解二阶微分方程。

2 相关工作

\quad 隐式神经表示。最近的工作已经证明了全连接网络作为形状零件[6、7]、对象[1、4、8、9]或场景[10-12]的连续、高效记忆隐式表示的潜力。这些表示通常从某种形式的3D数据中训练为有符号距离函数[1、4、8-12]或占用网络[2、13]。除了表示形状外，其中一些模型还被扩展到编码对象外观[3、5、10、14、15]，可以使用神经渲染的（多视图）2D图像数据对其进行训练[16]。还提出了时间感知扩展[17]和添加部件级语义分割的变体[18]。

\quad 周期非线性。在过去几十年中，人们反复研究了周期非线性，但到目前为止，它们的性能没有明显优于替代激活函数。早期的工作包括傅立叶神经网络，通过单隐层网络模拟傅立叶变换[19，20]。其他工作探索了简单分类任务的周期激活神经网络[21-23]、方程学习[24]和递归神经网络[25-29]。对于此类模型，已经研究了训练动力学[30]，并且已经证明它们具有普适函数近似特性[31-33]。合成模式生成网络[34，35]也利用周期非线性，但通过遗传算法框架中的进化依赖于不同非线性的组合。受离散余弦变换的启发，Klocek等人[36]利用余弦激活函数进行图像表示，但他们没有研究这些表示的导数或我们工作中探索的其他应用。我们探讨了具有周期激活函数的MLP在涉及隐式神经表示及其导数的应用中的应用，并提出了原则性的初始化和泛化方案。
\quad 神经微分方程求解器。长期以来，人们一直在求解微分方程（DEs）[37]的背景下对神经网络进行研究，并且之前已将其作为该任务的隐式表示引入[38]。关于这一主题的早期工作涉及简单的神经网络模型，包括具有少量隐藏层的MLP或径向基函数网络和双曲正切或S形非线性[38-41]。这些浅层网络的容量有限，通常将结果限制为一维解或简单的二维曲面。这些技术的现代方法利用了最新的优化框架和自动差分，但使用了基于MLP的类似架构。然而，求解更复杂的方程，具有更高的维数、更多的约束或更复杂的几何结构是可行的[42-45]。然而，我们表明，常用的具有平滑、非周期激活函数的MLP即使在密集监督下也无法准确建模高频信息和高阶导数。
\quad 神经微分方程[46]与此主题相关，但本质上非常不同。虽然隐式神经表示可用于直接求解常微分方程或偏微分方程，以监督系统动力学，但神经常微分方程允许通过将传统常微分方程求解器（例如隐式Adams或Runge-Kutta）与参数化函数动力学的网络配对来进行连续函数建模。所提出的架构可能是对这一工作线的补充。

3 公式

\quad 为了解决式（1）定义的隐式函数问题，我们认为这是一个可行性问题，函数Φ要满足一系列的约束C，每一个约束都与Φ或其导数有关，

\quad 这个问题可以用loss来解决，惩罚每个约束在其域Ωm内的偏离。

\quad 其中，指示函数$1_{{\Omega }_m}\left(x\right)$，当$x\in {\Omega }_m$时，值为1，反之为0。实际上，损失函数是通过采样Ω来实现的。

\quad 数据集$D={\left\{\left(x_i,a_i\left(x\right)\right)\right\}}_i$是一系列坐标$x_i\in \Omega$的元组以及出现在约束中的$a_i\left(x\right)$中的样本。因此，式（3）是强制为从数据集D中采样的坐标$x_i$，通过

\quad 实际上，数据集D在训练过程中是动态采样的，当样本数增长时能够更好地逼近L，作为蒙特卡洛积分。这一部分暂时不懂

3.1 隐式神经表示的周期激活函数

\quad 我们提出了SIREN，一种用于隐式神经表示的简单神经网络架构，使用正弦作为周期激活函数：

\quad 这里，${\varphi }_i:{\mathbb{R}}^{M_i}\mapsto {\mathbb{R}}^{N_i}$是第i层神经网络。包含了由权重矩阵${\mathbf{W}}_i\in {\mathbb{R}}^{N_i\times M_i}$和偏置${\mathbf{b}}_i\in {\mathbb{R}}^{N_i}$以及输入${\mathbf{x}}_i\in {\mathbb{R}}^{M_i}$定义的仿射变换，在仿射变换后，再施加正弦这种非线性操作。
\quad 有趣的是，对于一个SIREN的任何微分都是它自己的一个分量，由于sin函数的微分是cos（看做移相后的sin）。因此，SIREN的微分本质上是SIRENs的属性，使得我们可以推导SIREN的任何微分，以此来表示复杂的信号。在我们的实验中，我们证明了当使用包含$\Phi$导数的约束$C_m$监督SIREN时，神经网络${\Phi }_{\theta }$实现的函数仍然表现良好，这对于解决许多问题至关重要，包括边界值问题（BVP）。与双曲正切或ReLU等传统非线性不同，正弦是周期性的，因此是非局部的。直观地说，这为SIREN提供了一定程度的平移不变性，因为它可以学习将相同的功能应用于不同的输入坐标。
\quad 我们将展示SIRENs可以通过对激活分布的一些控制来初始化，从而允许我们创建深层架构。此外，SURENs的收敛速度明显快于基线架构，例如，在几百次迭代中拟合单个图像，在现代GPU上需要几秒钟，同时具有更高的图像保真度（图1）。

图1：适合图像隐式表示的不同神经网络架构的比较（地面实况：左上角）。该表示仅在目标图像上进行监督，但我们还分别在第2行和第3行显示了函数拟合的一阶和二阶导数。
\quad 一个例子：拟合图像。考虑这样的情况，找到一个函数$\Phi ：{\mathbb{R}}^2\mapsto {\mathbb{R}}^3$把给定的离散图像$f$参数化为连续的形式。图像定义了一个数据集$D={\left\{\left({\mathbf{x}}_i,f\left({\mathbf{x}}_i\right)\right)\right\}}_i$包含像素坐标${\mathbf{x}}_i=\left(x_i,y_i\right)$以及像素的RGB信息$f({\mathbf{x}}_i)$。约束$C$是$\Phi$必须直接在像素点输出图像颜色。$C$仅仅依赖于$\Phi$本身（不包括微分）以及$f({\mathbf{x}}_i)$，形式如下：$C\left(f({\mathbf{x}}_i),\Phi \left({\mathbf{x}}_i\right)\right)=\Phi \left({\mathbf{x}}_i\right)-f({\mathbf{x}}_i)$，转换成损失函数的形式就是$\overline{\mathcal{L}}={\sum }_i||\Phi \left({\mathbf{x}}_i\right)-f({\mathbf{x}}_i)||$。

损失函数 C=0就是约束，就是隐式关系，而Loss就是下降为0，因此两者等价。

\quad 在图1中，我们用神经网络（用不同的激活函数）拟合${\Phi }_{\theta }$。我们仅仅通过图像值来监督这个实验，并且把梯度$\nabla \Phi$和拉普拉斯算子$\Delta \Phi$可视化，只有两种方法表现得还可以，带有位置编码（P.E.）的ReLU网络和我们的SIREN，精确地表示了原图$f\left(\mathbf{x}\right)$，SIREN是唯一能够完全表示图像（信号）的微分的。此外，我们运行了一个劲简单的实验，我们拟合了一个300帧的视频，用512*512像素分辨率以及ReLU和SIREN MLPs。如图2所示，我们的方法成功表示了图像，平均峰值信噪比接近30 dB，比ReLU高了5dB。我们在补充材料中展示了音频信息的处理。

3.2 激活、频率和原则性初始化方案的分布

\quad 我们提出了一种有效训练SIREN所需的原则性初始化方案。在这里非正式介绍的同时，我们在补充材料中讨论了进一步的细节、证明和实证验证。我们的初始化方案的关键思想是保持激活在网络中的分布，以便初始化时的最终输出不依赖于层的数量。注意，在没有仔细选择权重的情况下构建SIREN在准确性和收敛速度方面都表现不佳。
\quad 首先，我们考虑一个sin神经元，输入$x\sim \mathcal{U}\left(-1,1\right)$，输出的分布情况。神经元的输出是$y=sin(ax+b)，a,b\in \mathbb{R}$。对于任何a>0.5π，也就是跨越半个周期，输出的sine值是y~arcsin(-1,1)，U型β分布的特例，与b的选择无关。我们现在可以对神经元的输出分布进行推理。 把n个输入线性组合起来，$x\in {\mathbb{R}}^n$，权重$\mathbf{w}\in {\mathbb{R}}^n$，输出是$y=sin(\mathbf{w}x+b)，a,b\in \mathbb{R}$。假设这个神经元是在第二层，它的每一个输出都是arcsine分布。当w的每个分量拥有统一分布，$w_i\sim \mathcal{U}\left(-c/\sqrt{n},c/\sqrt{n}\right),c\in \mathbb{R}$，在补充材料中，我们证明了随着n的增大，w和x的点积${\mathbf{w}}^T\mathbf{x}\sim \mathcal{N}(0,c^2/\sqrt{6})$。最后，通过另一个正弦馈送这个正态分布的点积，对于任何 $c>\sqrt{6}$ 也是反正弦分布。注意，SIREN的权重可以被解释为角频率，而偏置是相位偏移。因此，在神经网络中，权重的幅值越大，角频率越大。对于$|{\mathbf{w}}^T\mathbf{x}|<\pi /4$，sine层将会保持频率不变，由于此时sine几乎是线性的。实际上，我们经验地发现，例如在$|{\mathbf{w}}^T\mathbf{x}|<\pi$时，一个sine层保持空间频率近似为常数，并且当幅值高于这个值时，增加频率。
\quad 因此，我们建议让$c=\sqrt{6}$，这样权重$w_i\sim \mathcal{U}\left(-\sqrt{6/n},\sqrt{6/n}\right)$。确保了输入到每个sine激活是正态分布的，标准差为1。由于只有一小部分的权重的幅值是大于$\pi$的，整个正弦网络的频率增长缓慢。最后，我们建议使用权重来初始化第一层sine网络，这样sine函数$sin({\omega }_0\cdot \mathbf{W}x+\mathbf{b})$在[-1,1]之间跨越多个周期。我们发现${\omega }_0=30$效果最好。我们提出的初始化方案产生了快速且鲁棒的收敛效果，使用ADAM优化器对于所有的实验。

4 实验

\quad 本节，我们利用SIRENs来解决有挑战的边界值问题BVP，使用不同类型的$\Phi$的微分。我们首先解决泊松等式，通过直接监督它的微分。然后解决了Eikonal的特殊形式，对梯度施加单位范数约束，参数化有符号距离函数（SDFs）的类。SIREN显著地比基于ReLU表示下地SDFs要好，捕获到了大尺度场景下的高级细节。然后解决了二阶Helmholtz偏微分方程，以及具有挑战性的全波形反演问题。最后，我们将 SIREN 与超网络相结合，在参数化函数空间上学习先验。这些实验总结在补充的第 4 节中，额外的实验和细节可以在补充的第 5-11 节中找到。所有代码和数据都在项目网页上公开可用。

4.1 解决泊松等式

\quad 我们证明了所提出的表示不仅能够准确地表示函数及其导数，而且还可以仅通过其导数进行监督，即，模型永远不会呈现实际的函数值，而只会呈现其第一阶或高阶导数。
\quad 代表此类问题的一个直观示例是泊松方程。泊松方程可能是最简单的椭圆偏微分方程 (PDE)，它在物理学和工程学中至关重要，例如用于模拟由电荷或质量分布产生的电势。在这个问题中，一个未知的真实信号$f$从它的梯度$\nabla f$或者拉普拉斯形式$\Delta f=\nabla \cdot \nabla f$中采样来得到，表示如下：

\quad 泊松图片重构。解决泊松方程是的图片能够从它们的微分中获得重构。我们在图3中展示了结果。监督隐式表达用GT的梯度${\mathcal{L}}_{grad}$或拉普拉斯${\mathcal{L}}_{lapl}$，成功地重构了图片。剩余的强度变化是由于问题的不适定性ill-posedness。
\quad 泊松图片编辑。图像可以在梯度域里无缝融合[49]。按照这种思想，$\Phi$使用${\mathcal{L}}_{grad}$监督，${\nabla }_{\mathbf{x}}f(\mathbf{x})$是两张图像的梯度的复合函数$f_{1,2}:{\nabla }_{\mathbf{x}}f(\mathbf{x})=\alpha \cdot \nabla f_1(\mathbf{x})+(1-\alpha )\cdot \nabla f_2(\mathbf{x}),\alpha \in [0,1]$。

图3.泊松突破重构。图像（左）通过一个SIREN重建，由其梯度或拉普拉斯（绿色下划线）监督。分别显示在中间和右侧的结果很好地匹配了图像及其导数。泊松图像编辑：融合两个图像（顶部）的梯度（左下）。SIREN允许使用梯度监督（右下角）重建合成（右）。

4.2 使用SDF有符号距离函数表示函数

\quad 受可微符号距离函数形状表示最近工作的启发，我们使用基于ReLU的隐式神经表示和SIREN直接在有向点云上拟合SDF。这相当于解决一个特殊的Ekional边界值问题，约束空间梯度的范数$|{\nabla }_{\mathbf{x}}\Phi |$在任何地方都是1。注意，ReLU网络是表示的SDFs的理想选择，因为它们的梯度是局部常数并且二阶导数为0。利用ReLU激活函数的隐式神经表示来解决Eikonal方程早就在[9]中被提出了。我们用损失函数拟合SIREN到一个有向点云：


\quad $\psi (\Phi (\mathbf{x}))$惩罚离开表面的点来生成接近0的SDF值。$\Omega$是整个域，我们用${\Omega }_0$来表示SDF的零水平级zero-level set。

zero-level set指的是空集吗？应该不是。指的是零水平集，水平集 ；水平集分割。用高一维的方法表示当前维的信息。

\quad 模型$\Phi (\mathbf{x})$由网格上采样的有向点云来监督，要求SIREN满足$\Phi (\mathbf{x})=0$并且范数$\mathbf{n}(\mathbf{x})=\nabla f(\mathbf{x})$。在训练过程中，每一个minibatch在网格的内外拥有相同数量的点，每一个都在$\Omega$中随机采样。如图4所示，提出的周期激活明显地增加了物体的细节，以及可以由这些神经SDF表示的场景的复杂性，从ICL-NUIM数据集[50]中仅用单个五层完全连接的神经网络来参数化整个房间。这与当前的工作相反，它们解决了传统MLP体系结构的相同故障，以通过对离散表示进行局部解码来表示复杂或大型场景，例如体素网格，转换成隐式神经表示。我们注意到产生的表示可能非常紧凑。例如，图4中所示的泰国雕像以高保真度重建，仅需要260 kB，而该数据集的简单网格表示需要293 MB。类似地，房间的警报器表示只需要大约1 MB，而朴素网格表示需要579 MB。请参考补充材料，了解有关SIREN压缩能力的更多讨论。

图4:形状表示。我们直接在点云上拟合由隐式神经表示参数化的符号距离函数。与ReLU隐式表示相比，我们的周期性激活显著改善了对象的细节(左)和整个场景的复杂性(右)。

4.3 解决Helmholtz and Wave Equations

\quad 亥姆霍兹方程和波动方程是与扩散和波动的物理建模相关的二阶偏微分方程。它们通过傅立叶变换关系密切相关，亥姆霍兹方程如下所示：
\quad $f(\mathbf{x})$代表已知的源方程，$\Phi (\mathbf{x})$是未知的波动场，平方慢度$m(\mathbf{x})=1/c(\mathbf{x}{)}^2$是波速$c(\mathbf{x})$的函数。通常，亥姆霍兹方程的解是复数值的，需要数值解算器进行计算。由于亥姆霍兹方程和波动方程遵循类似的形式，我们在这里讨论了亥姆霍兹方程，补充中对波动方程进行了额外的结果和讨论。
\quad 求解波动场。参数化带有SIREN的$\Phi (\mathbf{x})$来求解波动场。为了适应复数解，我们配置网络，分别输出实部和虚部。训练过程在域$\Omega =\left\{\mathbf{x}\in {\mathbb{R}}^2|||\mathbf{x}|{|}_{\infty }<1\right\}$中随机采样x。网络通过loss来监督，基于亥姆霍兹方程：

\quad 其中，$\lambda (\mathbf{x})=k$是超参数，当$f(\mathbf{x})\ne 0$（对应于亥姆霍兹方程的非均匀贡献）；其他情况$\lambda (\mathbf{x})=1$，对应于同质（homogenous）部分。每一个minibatch包含来自两种贡献的样本，并且设置了k，因此在训练开始时损失大致相等。在实践中，我们使用略微修改的公式(7)的形式，以包括确保唯一解所必需的完全匹配的边界条件52(详情见附录)。
\quad 对于具有空间均匀波速和单点源的二维亥姆霍兹方程的求解结果如图5所示(模型为具有${\sigma }^2=10^{-4}$的高斯模型)。SIREN解与原则性解算器[52]以及其他神经网络解算器进行了比较。所有评估的网络体系结构都使用与SIREN相同数量的隐藏层，但具有不同的激活函数。在RBF网络的情况下，我们为高斯RBF层添加了1024个隐藏单元，并对所有其他层使用tanh激活。SIREN是唯一能够产生波场的高保真重建的表示。我们还注意到，tanh网络的体系结构与最近在神经PDE解算器上的工作类似[44]，不同的是我们增加了网络规模以匹配SIREN。

图5：直接反演：我们求解位于介质(绿点)中心且具有均匀波传播速度的单点震源的亥姆霍兹方程(左上角)。SIREN解决方案与原则性网格解算器非常匹配，而其他网络体系结构无法找到正确的解决方案。神经全波形反演(FWI)：场景包含震源(绿色)和以原点为中心的圆形波速扰动(左上角)。在场景速度先验已知的情况下，SIREN直接重建与原则性网格解算器(左下角、左中角)非常匹配的波场。对于FWI，速度和波场是用接收器测量(蓝点)重建的，这些测量来自按顺序触发的震源(绿点、红点)。SIREN速度模型的性能优于原则性FWI解算器[53]，可以准确地预测波场。计算所有波场的FWIMSE值，并且可视化的实际波场对应于绿色源。
\quad 神经全波形反演(FWI)。在许多基于波的传感模式(雷达、声纳、地震成像等)中，人们试图使用稀疏放置的源(即发射器)和接收器来探测和感测整个域。FWI使用源和接收器的已知位置来联合恢复整个波场和其他物理属性，例如介电常数、密度或波速。具体地说，FWI问题可以描述为[54]：

\quad 共有N个源，这里先跳过……

4.4 学习空间的隐式函数

\quad 隐式表示出现的一个强大的概念是在定义它们的函数空间上学习先验[1，2，10]。在这里，我们证明了由SIRENs参数化的函数空间也允许学习强大的先验。每个SIREN${\Phi }_j$都是由它们的参数${\theta }_j\in {\mathbb{R}}^l$全部定义。假设一个类的所有的参数${\theta }_j$存在于${\mathbb{R}}^l$中的k维子集，$k<l$，然后这些参数能够通过$\mathbf{z}\in {\mathbb{R}}^k$中地潜在代码向量被完好地建模。正如在神经过程中，我们通过对信号$O\in {\mathbb{R}}^m$地部分观测调整这些潜在代码向量，通过编码器：

并且采用ReLU超参数网络，将潜在代码映射到SIREN的权重：

\quad 我们使用set编码器在CelebA数据集[56]上复制了来自[57]的实验。此外，我们还给出了使用卷积神经网络编码器对稀疏图像进行操作的结果。有趣的是，这提高了修复任务的数量和质量性能。在测试时间时，这允许我们从稀疏像素观测中重建，进而可以用于图像修复。图6展示了从稀疏观测像素中测试时间重构。主语这些修复结果都是用同一个模型产生地，用相同的参数。表1展示了量化对比结果，表明了SIREN至少和其他方法一样强大。

5 总结

\quad 如何表示信号的问题是跨科学和工程领域许多问题的核心。与传统的连续和离散表示法相比，隐式神经表示法可以提供许多潜在优势，从而为其中许多方法提供一种新的工具。我们证明了周期激活函数非常适合使用隐式神经表示法表示复杂的自然信号及其导数。我们证明了几个边界值问题，我们的框架能够稳健地解决。未来的工作有几个令人兴奋的途径，包括探索其他类型的反问题以及在隐式神经表示以外的领域的应用，例如神经常微分方程[46]。虽然我们证明了在由SIREN网络表示的信号之间进行泛化的可行性，但结果表示的保真度是有限的。研究有效的替代方案是未来工作的一个重要方向。SIREN的直接应用可能是压缩大规模3D模型，因为SIREN可以用相对较少的参数和较小的文件大小以较高的视觉保真度表示它们。
\quad 并行工作研究与我们的方法相关的方向。将离散体素网格局部解码为隐式神经表示[11、12、51]同样可以实现精细细节的表示。Tancik等人[61]扩展了之前提出的第一层位置编码[5,48]，并从神经tangent的角度研究了其特性[62]。

深远影响

\quad 所提出的 SIREN 表示可以在深度学习框架中准确表示自然信号，例如图像、音频和视频。这可能是涉及此类信号的下游任务的推动力，例如图像分类或音频的语音到文本系统。这样的应用程序可以用于积极和消极的目的。SIREN 未来可能会进一步实现生成此类信号的新方法。这有可能在未经他们同意的情况下冒充演员。对于这种所谓的 DeepFakes 的深入讨论，我们请读者参考最近一篇关于神经渲染的评论文章。

相关资料

机器之心
SIREN: 使用周期激活函数做神经网络表征