时空数据生成对抗网络研究综述（下）

文章信息

《Generative Adversarial Networks for Spatio-Temporal Data: A Survey》是2021年1月发表在ACM Trans. Intell. Syst. Technol上的一篇文章。

本文接续《时空数据生成对抗网络研究综述（上）》

时空数据建模的GAN

在图5中，文章根据四种常见的时空数据类型对现有的时空数据挖掘和建模任务进行了分类，这些数据类型已通过GAN进行了深入研究：时空事件、时间序列、时空图和轨迹。时空任务总结基于之前对每种时空数据类型的研究（详情见表1）。例如，研究时空事件和轨迹的预测问题。对于时间序列数据，关注时间序列的插补和生成问题，对于时空图，探索了时间链接预测和图形表示在GAN上的应用。文章还在表2中总结了每种ST数据类型广泛使用的数据集。

时空事件的GAN

在这一小节中，文章主要介绍如何根据以前的事件，应用GAN来预测未来的时空事件(例如，出租车需求，犯罪，流体流动，异常检测)。

Saxena等人首次提出了一种用于精确时空事件预测的生成式对抗网络D-GAN。在该模型中，GAN和V AE相结合，以无监督的方式共同学习ST数据的生成和变分推理。他们还设计了一个通用的融合模块来融合异构的多个数据源。图6显示了D-GAN的架构，由四个组件组成:编码器、发生器/解码器、鉴别器和外部特征融合。网络使用对抗过程进行训练。解码器(即生成器)学习近似真实数据的分布，而判别器网络区分由生成器产生的样本和来自真实分布的样本。在训练过程中，D-GAN采用了重建损失和对抗损失。此外，还利用ConvLSTM和3D -ConvNet结构来模拟时空数据的长期模式和空间依赖性。

最近，Yu等将一种长短期结构条件生成对抗网络(conditional generative adversarial network with long - short-term structure, LSTM-CGAN)应用于出租车热点预测，同时捕捉热点的时空变化。此外，Jin等开发了一种基于上下文的生成模型Crime - GAN，以学习犯罪情境的时空动态。他们将Seq2Seq、VAE网络和对抗损失结合在框架中，更好地研究时空数据表示。在此基础上，提出了一种基于深度卷积生成对抗网络(DCGAN)的海啸时空流体流动预测方法。

GAN也被用于时空事件的异常检测。Li等提出了一种基于GAN的多元时间序列无监督异常检测方法MADGAN。他们用LSTM训练GAN发生器和判别器。然后，利用GAN训练的生成器和判别器，结合判别和重建异常评分(DR-Score)检测测试数据中的异常。

用于轨迹预测的GAN。

轨迹预测是指根据以往的观测结果估计各种智能体未来轨迹的问题。Gupta等人提出了SocialGAN，共同预测所有人避免碰撞的轨迹。他们引入了各种损失，鼓励GAN的生成网络扩展其分布，并覆盖可能路径的空间，同时与观察到的输入保持一致。提出了一种新的池化机制来学习“全局”池化向量，该向量编码场景中所有人的微妙线索。在GD-GAN中，Fernando等人设计了一种基于GAN的管道来联合学习特征，用于行人轨迹预测和社会群体检测。由于SocialGAN中使用的GAN基本结构容易出现模态坍塌和下降问题，Amirian等人将Info-GAN结构纳入其Social Ways轨迹预测网络中，从而扩展了SocialGAN。

SoPhie由Sadeghian等人提出，是另一种基于GAN的轨迹预测方法，该方法既考虑了情景上下文中的信息，又考虑了agent的社会互动。两个独立的注意模块也被用来更好地捕捉场景上下文和社会互动。最近，基于BicycleGAN框架，Social-BiGAT开发了输出轨迹和向轨迹生成器输入的潜在空间之间的双射函数。它还利用Graph Attention Network结合VGG网络对其他行人的社会影响和环境的语义场景影响进行编码。对于潜在碰撞较少的轨迹，Liu等人提出的CoL-GAN利用一种基于CNN的网络作为轨迹判别器。与其他基于GAN的轨迹预测方法如SocialGAN和SoPhie不同，所提出的判别器可以对轨迹的每一段是真还是假进行分类。

最近，Gao等人研究了从移动模式中识别用户身份的轨迹用户链接问题。他们将自编码器和GAN结合起来共同学习人类的移动，为移动分类提供了正则化的潜在空间。开发APOIR是为了了解兴趣点(Point-of-interest, POI)推荐中底层用户偏好的分布情况。它由两个部分组成:推荐器和鉴别器。推荐器接近用户的真实偏好，判别器将生成的poi与实际访问的poi进行区分。

时间序列建模的GAN

具体地说，时间序列被认为是一种特殊的序列数据，其中顺序很重要。它是在时间维度上连续等间距点获得的序列序列，而不是序列数据的唯一情况。然而，处理顺序数据(如音乐数据)可能与时间序列数据共享类似的GAN方法。因此，文章将包括一些对序列数据建模的研究。虽然自然语言数据也可以被认为是顺序数据，但文章将不包括使用GAN的NLP研究(如文本生成、文本到图像)，因为自然语言不是时间哦那个数据类型之一，通常属于NLP领域。在本小节中，文章将演示时间序列数据的两个时空任务:生成和归并。

生成。数据生成指的是从抽样的数据源中创建数据。利用GAN生成时间序列的主要目的之一是保护敏感数据的隐私，如医疗数据、脑电图(EEG)数据、心电信号心电图(ECG)数据、占用率数据、电子健康记录(EHR)等。

最近，已经使用GAN来生成顺序数据。Mogren等提出了CRNN-GAN (continuous RNN-GAN)来生成连续值序列数据。他们用LSTM生成器和判别器构建了GAN。该鉴别器由一个双向布局组成，这允许它在作出决定时考虑两个方向的上下文。他们对这个模型进行古典音乐序列的训练，并用复调、音阶一致性、重复和音调跨度等指标进行评估。

然后，Esteban et al.提出了一种正则GAN，其中循环神经网络替代了生成器和鉴别器。他们提出了循环GAN (RGAN)和循环条件GAN (RCGAN)来生成真实值的医学数据序列或一些条件输入的数据。为了评估，他们提出利用生成的合成数据的能力来训练有监督的模型，即TSTR (train on synthetic, test on real)。他们指出，TSTR比TRTS(在真实环境中训练，在合成环境中测试)更有效，因为当GAN遭遇模式崩溃时，TRTS的性能可能不会下降。

GAN已被用于生物生理信号的产生，如脑电图和心电图。Hartmann等提出EEG- gan生成脑电图(EEG)脑信号。通过改进WGAN训练，他们训练GAN以稳定的方式产生人工信号，在时域和频域与单通道真实脑电图信号非常相似。对于评价指标，他们表明结合Frechet起始距离(FID)和切片Wasserstein距离(SWD)，欧几里德距离(ED)可以很好地了解其整体性质。Golany等人提出了一种基于模拟器的GAN网络用于心电合成，以改进监督分类。他们将心电模拟器方程引入到生成网络中，然后将生成的心电信号用于深度网络的训练。

Dang等人的开发了一种生成对抗性攻击的方法，其输出是概率分布的序列，而不是生成单个值的序列。提出的方法在两个具有挑战性的任务:电力消耗预测和股票市场交易。此外，提出了AOSeRec来生成符合用户偏好的项目序列，而不是下一个项目预测。该模型将序列级oracle和对抗性学习整合到seq2seq自回归学习中。

归并。在实际应用中，由于各种原因，时间序列通常是不完整的，观测的时间间隔通常是不固定的。时间序列中缺失的值使得对有效分析变得困难。处理时间序列缺失值的一种流行方法是输入缺失值以获得完整的数据集。一般来说，时间序列的输入有三种不同的方式:案例删除方法、统计输入方法和基于机器学习的输入方法。然而，现有的方法几乎没有考虑两个观测值之间的时间关系。近年来，研究人员开始利用GAN学习观测之间的潜在表征进行时间序列归并。

Luo等利用对抗模型生成并归并原始的不完全时间序列。为了了解具有非固定时滞的观测数据之间的潜在关系，提出了一种新的RNN细胞GRUI，该细胞考虑了非固定的时间滞后，并消除了由时间滞后决定的过去的观测数据的影响。他们提出了时间序列imputation的两阶段模型(见图7):第一阶段，他们采用GAN中鉴别器和生成器中的GRUI来学习数据集的分布和时间信息。在第二阶段，对于每个样本，他们试图优化“噪声”输入向量，并找到发电机的最佳匹配输入向量。噪声用两部分损失函数进行训练:掩蔽重建损失和判别损失。掩蔽重建损失是原始样本与生成样本之间未缺失部分的掩蔽平方误差。这意味着生成的时间序列应该与原始的不完全时间序列足够接近。鉴别损失迫使生成的样品尽可能真实。然而，这种两阶段模型需要相当长的时间来找到最匹配的输入向量，而这并不总是最好的，特别是当“噪声”的初始值设置不当时。

然后，Luo等提出了一种基于端到端GAN的imputation模型E2GAN，该模型不仅简化了时间序列的imputation过程，而且为缺失值的填充生成了更合理的值。E2GAN采用了压缩和重构策略来避免“噪声”优化阶段。如图8所示，在生成器(去噪自动编码器)中，他们向原始样本添加了一个随机向量，并将其映射为低维向量。然后他们用低维向量重建了它。该生成器寻求找到一个网络结构，可以最好地压缩和重构多元时间序列，愚弄判别器。然后他们用重建的样本来输入缺失的值。

用于时空图建模的GAN

在本小节中，文章将介绍GAN在图数据分析中的应用，主要集中在两个领域:时间链预测和图表示。

时间链接预测。时间链路预测是指网络系统中的动态预测问题(如移动性和流量预测)，系统行为用抽象图来描述。给定图在前一个时间戳中的快照，时态链接预测任务的目标是在下一个时间戳构建图的拓扑。Lei等提出了GCN-GAN预测加权动态网络中的链路。他们结合了图卷积网络(GCN)、长短时记忆(LSTM)和生成对抗网络(GAN)。生成器由GCN隐层、LSTM隐层和全连通层组成。判别器包含一个全连接的前馈网络。在评估时，除了均方误差(MSE)外，他们还使用了边向KL散度和失配率。然后，Yang等人利用GAN设计了一种专注的GCN模型，用于图中时间链接的预测。然后，利用时间矩阵分解(TMF) LSTM方法捕捉动态网络的时间依赖性和演化模式。为了提高时间链预测的性能，提出了GAN框架。

图表示。Wang等人提出了GraphGAN，通过对抗训练统一了两种图的表示方法:判别法和生成法。他们发现，传统的softmax函数及其变量不适合该生成器，原因有二:(1)对于给定的顶点，softmax函数平等地对待图中的所有顶点，而不考虑图的结构和邻近信息;(2) softmax的计算涉及到图中所有的顶点，耗时长，计算效率低。因此，他们引入了graph softmax作为生成器的实现，并证明了它满足了标准化、计算效率和图结构感知的理想特性。

最近，GAN embedding (GANE)试图通过边缘存在的概率分布来获得底层的图分布，这与GraphGAN类似。不同的是，该模型采用Wasserstein-1距离作为总体目标函数，拟同时实现链路预测和网络嵌入提取。提出了一种新的网络嵌入方法——邻近生成对抗网络(ProGAN)，通过将生成的节点分布近似为GAN模型中的底层邻近度，来捕获不同节点之间的底层邻近度。具体来说，一个三元组可以编码三个节点之间的关系，包括相似性和不相似性。在对生成器和鉴别器进行训练后，将发现的潜在邻近性用于用编码器构建网络嵌入。

上述工作主要针对学习网络嵌入中的单视图网络。然而，许多真实世界的数据是由多视图网络表示的，其节点具有不同类型的关系。Sun等人提出了一种新的多视图网络嵌入框架MEGAN，该框架可以保留单个网络视图中的信息，同时考虑一个关系中的节点连接性和不同视图之间的复杂相关性。在MEGAN的训练过程中，基于多层感知器(MLP)生成的视图间的伪连接模式，从生成器中选择一对节点，然后执行鉴别器将真实节点对与生成的节点对进行区分。

结论

尽管文献中有许多有希望的结果，文章想指出的是，对时空数据采用GAN仍处于起步阶段。这项研究可以作为未来研究的跳板，它提供了一个详细的解释不同的时空与GAN的应用。希望文章可以帮助读者识别问题集，并选择相关的GAN技术时，给予一个新的ST数据集。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！