STLearner

ICLR 2024时空数据（Spatial-Temporal）论文汇总

ICLR（International Conference on Learning Representations）在5月7日-11日在奥地利维也纳举行。今年，ICLR共收到7262篇投稿，总体录用率在31%。

本文总结了ICLR 24有关时空数据的相关论文，如有疏漏，欢迎大家补充。其中包含时空预测，气象预测，因果推断，时空图神经网络，地理大模型等的应用。供大家学习，欢迎大家补充。

1. 【Spotlight】NuwaDynamics: Discovering and Updating in Causal Spatio-Temporal Modeling

链接：https://openreview.net/forum?id=sLdVl0q68X

分数：10, 8, 6, 6

关键词：因果推断，两阶段框架

TL; DR：建立了一个两阶段时空因果概念NuwaDynamics，其目标是识别观察数据中的因果区域并赋予模型因果推理能力。

作者：Kun Wang, Hao Wu, Yifan Duan, Guibin Zhang, Kai Wang, Xiaojiang Peng, Yu Zheng, Yuxuan Liang, and Yang Wang

摘要：时空预测在地球科学中发挥着关键作用，例如气象预测和城市计算。充足的高质量数据以及能进行推理的深度模型对于实现有意义的结果都是不可或缺且先决条件。然而，数据的稀疏性和部署传感器的高成本导致了显著的数据不平衡。过度定制且缺乏因果关系的模型进一步削弱了推理方法的泛化能力。为此，首先建立了一种针对ST预测的因果概念，名为NuwaDynamics，旨在识别数据中的因果区域，并在两阶段过程中赋予模型因果推理能力。具体来说，首先利用上游自监督来识别因果重要的区块，使模型具备泛化信息，并对补充的琐碎区块进行有意义的干预，以外推潜在的测试分布。这一阶段被称为发现步骤。在发现步骤之后，将数据转移到下游任务以实现针对性的ST目标，帮助模型识别更广泛的潜在分布并促进其因果感知能力（称为更新步骤）。该概念与当代因果理论中的背门调整机制无缝对接。在六个真实世界的时空基准测试上的广泛实验表明，模型在整合NuwaDynamics概念后可以获得更好的结果。NuwaDynamics还可以显著地促进各种变化的时空任务，如极端天气和长时间步长超分辨率预测的进展。

2. Causality-Inspired Spatial-Temporal Explanations for Dynamic Graph Neural Networks

链接：https://openreview.net/forum?id=AJBkfwXh3u

分数：5, 3, 8, 6

关键词：可解释性、图神经网络、因果推断

TL; DR：据他们所知是第一个动态图神经网络

摘要：动态图神经网络（DyGNNs）在动态图研究中获得了显著的关注，但受限于低透明度，难以从其预测中提取人类可理解的洞见。尽管现有研究大量致力于探究图神经网络（GNNs）的可解释性，但由于动态图中复杂的空间-时间关联性，实现DyGNNs的可解释性具有极大的挑战性。为此，提出了一种基于结构因果模型（SCM）的创新性因果启发式生成模型，旨在通过识别琐碎、静态和动态因果关系来探索DyGNN预测的基本理念。为实现这一目标，需要完成两项关键任务：（1）解开复杂因果关系，（2）将DyGNNs的空间-时间解释融入SCM架构。为应对这些挑战，提出的方法结合了对比学习模块来解开琐碎和因果关系，以及动态相关模块来分别解开动态和静态因果关系。进一步开发了基于动态VGAE的框架，该框架生成用于空间可解释性的因果-动态掩膜，并通过因果发明沿时间轴识别动态关系，以实现时间可解释性。在合成和真实世界数据集上进行的全面实验表明，该方法取得了实质性进展，展现了显著的优越性。

3. TESTAM: A Time-Enhanced Spatio-Temporal Attention Model with Mixture of Experts

链接：https://openreview.net/forum?id=N0nTk5BSvO

camera_ready: https://drive.google.com/file/d/1xt-N5LMTQ6uSh2WZ6r7jwE2zy7g832MU/view

分数：6, 5, 6, 6

关键词：交通预测，混合专家模型（MoE）

TL; DR：提出了一种名为 TESTAM 的新型专家混合模型，可以对交通数据进行现场建模（in-situ modeling ）

作者：Hyunwook Lee & Sungahn Ko∗

4. Beyond Spatio-Temporal Representations: Evolving Fourier Transform for Temporal Graphs

链接：https://openreview.net/forum?id=uvFhCUPjtI

分数：5, 3, 8, 6

关键词：时空表示，傅里叶变换

TL; DR：第一篇提出将演化时间图变换到频域概念的工作，称之为“演化图傅里叶变换（EFT）

摘要：本文介绍了演化图傅里叶变换（EFT），这是首个可逆的谱变换，能捕捉时态图上的演化表征。研究动机源于现有方法无法有效捕捉演化图谱，并且由于时间维度和图顶点域的复杂性，计算成本过高。此问题被视为连续时间动态图的拉普拉斯算子上的优化问题。此外，提出了伪谱放松技术，对变换过程进行分解，极大提高了计算效率。EFT方法巧妙地捕捉了演化图的结构和位置属性，使其有效应用于演化图上的下游任务。作为参考实现，开发了一种简单的神经模型，结合了EFT捕捉演化图谱。通过在多个大规模和标准时态图基准上的实证验证，展示了该模型达到了最先进的性能。

5. GeoLLM: Extracting Geospatial Knowledge from Large Language Models

链接：https://openreview.net/forum?id=TqL2xBwXP3

arXiv：https://arxiv.org/abs/2310.06213

分数：6, 5, 8, 6, 3

关键词：地理空间，地理大模型、LLM、ChatGPT

作者：Rohin Manvi, Samar Khanna, Gengchen Mai（买庚辰）, Marshall Burke, David Lobell, Stefano Ermon

机构：斯坦福大学（Stanford）, 佐治亚大学（UGA）

摘要：在地理空间任务中应用机器学习（ML）日益普遍，但这通常依赖于全球可用的卫星图像等协变量，这些协变量要么价格昂贵，要么缺乏预测能力。本研究探讨了能否利用互联网语言语料库中的大量知识，现在已压缩于大型语言模型（LLMs），来应用于地理空间预测任务。首先证明LLMs嵌入了关于地点的显著空间信息，但仅使用地理坐标来查询LLMs在预测如人口密度等关键指标上是无效的。然后，介绍了GeoLLM，一种可以有效从LLMs中提取地理空间知识的新方法，辅以OpenStreetMap的辅助地图数据。通过在国际社会关注的多个中心任务上展示了这种方法的实用性，包括测量人口密度和经济生计。在这些任务中，该方法相对于使用最近邻或直接从提示中获取信息的基准，表现出70%的性能提升（使用皮尔森 $r^2$ 衡量），且性能等于或超过文献中基于卫星的基准。通过GeoLLM，观察到GPT-3.5在性能上分别比Llama 2和RoBERTa高出19%和51%，表明该方法的性能随模型大小和预训练数据集的增大而提升。实验表明，LLMs在样本效率、地理空间信息丰富性和全球范围内的鲁棒性方面表现出色。关键的是，GeoLLM展示了在缓解现有地理空间协变量的局限性和很好地补充它们方面的潜力。

6. A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer Learning

链接：https://openreview.net/forum?id=QyFm3D3Tzi

分数：8, 5, 6, 6

关键词：时空图、迁移学习、扩散模型、预训练

TL; DR：利用预训练范式实现有效的细粒度时空知识迁移，是利用预训练模型处理城市数据稀缺场景的开创性实践。

摘要：为解决智能城市应用中的时空图（STG）学习的数据稀缺问题，提出了一种新颖的生成式预训练框架GPDiff，用于STG迁移学习。该方法采取了一种新颖的方法，通过在源城市数据优化的模型参数集合上进行生成式预训练，不同于依赖常规特征提取或复杂迁移学习设计的传统方法。GPDiff重新定义STG迁移学习为预训练一个生成超网络，该网络由提示引导生成定制模型参数，适应不同数据分布和城市特定特征。GPDiff采用基于Transformer的去噪网络的扩散模型，与强大的STG模型集成，模型不可知。在应对数据差距和跨城市知识泛化复杂性的挑战方面，该框架在多个真实世界数据集上的任务中，如交通速度预测和人群流量预测，始终优于最先进的基准。该方法的实现可在以下链接获取：https://anonymous.4open.science/r/GPDiff。

7. AirPhyNet: Harnessing Physics-Guided Neural Networks for Air Quality Prediction

链接：https://openreview.net/forum?id=JW3jTjaaAB

分数：6, 8, 6, 6

关键词：空气质量预测、物理信息、时空学习、可解释性

TL; DR：AirPhyNet 是一个用于空气质量预测的物理引导深度学习框架。它在长达 72 小时内的预测显示出卓越的性能，特别是在稀疏数据场景中，同时生成具有真实物理意义的预测。

作者：Kethmi Hirushini Hettige, Jiahao Ji, Shili Xiang, Cheng Long, Gao Cong, and Jingyuan Wang.

摘要：本文提出了一种新型方法，名为物理指导的神经网络用于空气质量预测（AirPhyNet）。该方法利用两个关于空气粒子运动（扩散和平流）的物理原理，通过将它们表示为微分方程网络。接着，使用图结构将物理知识融入神经网络架构，并利用潜在表示来捕捉空气质量数据中的时空关系。在两个真实世界基准数据集上的实验表明，AirPhyNet在包括不同时间设置下（24小时、48小时、72小时）、稀疏数据和突变预测等不同测试场景中，均优于最先进的模型，预测误差减少高达10%。此外，一项案例研究进一步验证了该模型捕捉了粒子运动的基本物理过程，并生成了具有真实物理意义的准确预测。代码可在以下链接获取：https://anonymous.4open.science/r/AirPhyNet-230F/。

8. Bayesian Optimization through Gaussian Cox Process Models for Spatio-temporal Data

链接：https://openreview.net/forum?id=9j1RD9LlWH

分数：8, 6, 6

关键词：贝叶斯优化、高斯 Cox 过程

TL; DR：时空数据分析的高斯 Cox 过程随机模型贝叶斯优化方法。(感觉很机器学习，很数学，很有三大会的风格！)

摘要：本文提出了一种新颖的高斯Cox过程的最大后验推断方法。该方法利用拉普拉斯近似和核变换技术，将问题转化为新的再生核希尔伯特空间，从而在计算上变得更易处理。这使得既能获得潜在强度函数的函数后验，又能得到后验的协方差，从而拓展了现有工作，后者通常集中在特定链接函数上或估计后验均值。基于此结果，提出了一个基于高斯Cox过程模型的贝叶斯优化（BO）框架，并进一步开发了一种高效计算的Nyström近似。在各种合成和真实世界数据集上的广泛评估表明，相比于现有高斯Cox过程的先进推断解决方案，该方法有显著的改进，并且在一系列基于高斯Cox过程模型设计的获取函数中有效实施BO。