【2020顶会KDD】AutoST：面向时空预测的高效神经网络学习模型

题目：AutoST: Efficient Neural Architecture Search for Spatio-Temporal Prediction

 

文章作者信息：

 

预览摘要：

时空(ST)预测(如人群流预测)在城市规划、智能交通和公共安全等一系列智慧城市应用中具有重要意义。近年来，人们提出了许多深度神经网络模型来进行准确的预测。然而，手动设计神经网络需要花费大量的精力和时空领域的专业知识。如何自动建立一个通用的神经网络来处理城市中的各种时空预测任务?

在本文中，作者研究了时空预测任务的神经网络结构搜索(NAS)，并提出了一种有效的时空神经网络结构搜索方法，名为AutoST。本文设计了一种新的时空域搜索空间，该空间由两类分量组成:(i)在每一层进行可选的卷积运算，自动提取多范围的时空相关性;(ii)可学习跳过层之间的连接来动态融合低级和高级的时空特征。

本文在出租车流和人流等四个真实时空预测任务上进行了大量的实验，结果表明所学的网络架构可以显著提高时空神经网络中代表性模型的性能。此外，文中提出的高效NAS方法的搜索速度比最先进的NAS方法快8-10倍，证明了AutoST的效率和有效性。

 

主要贡献：

本篇文章的主要贡献可以总结为以下三点：

（1）提出了一种新的时空预测模型AutoST，该模型引入了神经网络结构搜索技术来动态捕捉空间相关性，并融合多层次特征。此外，AutoST面向的是ST数据，而不是特定的应用程序场景，这些场景可以很容易地应用于一系列深度模型。

（2）设计了一个高效的搜索空间，包括两个基本模块：1)在每一层使用混合卷积块来捕获不同范围的空间相关性；2)层间混合跳跃连接块，动态融合多层次特征。

（3）在从出租车流和人流等四个真实时空数据集上进行了广泛的实验，实验结果表明，AutoST可以显著提高时空预测能力。

 

模型结构：

 

方案思路：

为了处理先前工作的遗留问题，本文提出了AutoST模型，具体包含三个部分，分别为：初始时空特征抽取组件，特征学习组件以及额外特征融合预测组件。AutoSt模型和传统模型的比较如下图：

 

模型整体结构：

上图中(a)表示传统的残差模型，具有固定的卷积和固定的连接操作。图(b)中Darts模型具有多种候选操作，如：卷积操作，池化操作和连接操作等。图(c)为本文提出的模型结构，它主要由两种类型操作组成（混合卷积操作和混合连接操作），混合卷积操作在每一层搜索不同的卷积核，混合连接操作在不同的层之间学习否连接操作，目的是进行不同级别特征的融合。

 

实验结果：

 

不同方法在(CorwdBJ, TaxiJN, TaxiGY)三种数据集上的实验效果：

 

不同方法在TaxiBJ数据集上的实验效果：

 

不同方法运行效率及性能比较：

 

参数对比控制实验：

 

AutoST模型在CrowdBJ和TaxiGY数据集上学到的架构：

 

结论：

本文研究了利用神经网络结构搜索方法进行时空预测任务的问题。提出了一种新的NAS网络，名为AutoST，它具有一个为时空预测任务定制的高效搜索空间，并可推广到多个不同场景。具体来说，AutoST包括一个由多尺度内核组成的可选卷积块，用于在可变尺度下捕获不同范围的特征；一个可训练的连接块，用于动态融合多尺度空间特征。本文所提出的AutoST算法能够自动搜索处理多范围、多尺度预测问题的体系结构。此外，AutoST运行高效，并且对场景并不敏感。在人流和出租车流预测等的四个真实数据集上的实验表明，AutoST模型的性能优于固定架构，比其他搜索方法更有效。

 

更多相关专业文章，欢迎关注公众号！