【时序】时间/时空序列分类/预测/异常检测模型顶会论文资源汇总
Github Repo：https://github.com/datamonday/TimeSeriesMoonlightBox
Contributor：datamonday
Create Date：2022.04.03
Blog Page：https://datac.blog.csdn.net/
WeChat Official：datazero
本文详细总结了近几年时间/时空序列分类/预测/异常检测模型顶会论文，包括Transformer及其变体。原文已在Github开源，后续会持续更新，欢迎推荐论文，issue，star，fork。
交流群：1028633890
图片来源：source
更新日志
- 2022.04.03 first commit，add 48 papers
本文涉及的术语说明
为减少重复，部分数据采用缩略形式，有些术语可能不代表通用解释，仅适用于本文。
| 术语(Terminology) | 缩写(Abbreviation) | 释义(Explanation) |
|---|---|---|
| Probabilistic Forecasting | ProbF | 概率预测 |
| Time Series Analysis | TSA | 时间序列分析 |
| Time Series Anomaly Detection | TSAD | 时间序列预测 |
| Time Series Classification | TSC | 时间序列分类 |
| Time Series Forecasting | TSAD | 时间序列异常检测 |
| Spatio-Temporal Forecasting | STF | 时空预测 |
时间序列预测（Time Series Forecasting，TSF）
| ID | Model | 论文名称(Title)/下载(Download) | 出版机构(C/J)/作者(Author)/被引(Cited) | 研究领域(Field) | 摘要(Abstract)/模型特点(Characteristics) | 官方/第三方代码(Code) | 笔记/代码/教程(Tutorial) |
|---|---|---|---|---|---|---|---|
| ConvTrans | Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting | NeurIPS 2019，UCSB，242 (2022/04/03) | TSF | ConvTrans与DeepAR有类似，也是一个自回归的概率预测模型，而且支持诸如气温，湿度等协变量来辅助预测。因为结合了 Transformer，其支持并行，训练速度快；具有长期依赖建模能力，长序列建模效果好；可以同时建模长期以来和短期依赖；注意力分数可以提供一定的可解释性。提出卷积自注意力机制，增强了对局部上下文信息的关注，使得预测更加准确；LogSparse降低了注意力计算的空间复杂度，更容易处理长序列。 | code1 | ||
| STRIPE | Probabilistic Time Series Forecasting with Shape and Temporal Diversity | NeurIPS 2020，EDF R&D France，6(2022/04/03) | ProbF | 概率预测包括预测未来可能结果的分布。在本文中，我们解决了非平稳时间序列的这个问题，这是非常具有挑战性但至关重要的。我们引入了 STRIPE 模型，用于表示基于形状和时间特征的结构化多样性，确保在准确的同时进行可能的预测。 STRIPE 与预测模型无关，我们为其配备了依赖于决定点过程 (DPP) 的多样化机制。我们引入了两个 DPP 内核，用于在形状和时间方面对不同的轨迹进行建模，它们都是可微的，并且被证明是半正定的。为了明确控制多样性结构，我们还设计了一种迭代采样机制来解开潜在空间中的形状和时间表示。在合成数据集上进行的实验表明，STRIPE 在表示多样性方面明显优于基线方法，同时保持了预测模型的准确性。我们还强调了迭代抽样方案的相关性以及使用不同标准来衡量质量和多样性的重要性。最后，对真实数据集的实验表明，STRIPE 在最佳样本预测方面能够胜过最先进的概率预测方法。 | code1 | ||
| AST | Adversarial Sparse Transformer for Time Series Forecasting | NeurIPS 2020，THU，23 (2022/04/03) | TSF | 鉴于其在包括业务需求预测在内的广泛应用中的重要性，已经提出了许多用于时间序列预测的方法。然而，现有方法存在两个关键限制。首先，大多数点预测模型只能预测每个时间步的准确值，缺乏灵活性，难以捕捉数据的随机性。甚至使用似然估计的概率预测也会以同样的方式遇到这些问题。此外，它们中的大多数使用自回归生成模式，在训练过程中提供ground-truth，在推理过程中被网络自己的一步超前输出代替，导致推理过程中的误差累积。因此，由于误差累积，他们可能无法预测长时间范围内的时间序列。为了解决这些问题，在本文中，我们提出了一种新的时间序列预测模型——对抗稀疏变换器（AST），它基于生成对抗网络（GAN）。具体来说，AST 采用 Sparse Transformer 作为生成器来学习稀疏的注意力图进行时间序列预测，并使用鉴别器来提高序列级别的预测性能。对几个真实世界数据集的广泛实验表明了我们方法的有效性和效率。 | code1 | ||
| TSR | Benchmarking Deep Learning Interpretability in Time Series Predictions | NeurIPS 2020，UMD，28 (2022/04/03) | TSF | 显着性方法被广泛用于强调输入特征在模型预测中的重要性。这些方法主要用于视觉和语言任务，它们在时间序列数据中的应用相对来说还比较陌生。在本文中，我们着手在合成时间序列数据的新基准†中广泛比较各种基于显着性的可解释性方法在不同神经架构中的性能，包括循环神经网络、时间卷积网络和变形金刚。我们提出并报告了多个指标，以经验性地评估显着性方法的性能，以使用精度（即识别的特征是否包含有意义的信号）和召回率（即信号被识别为重要的特征的数量）随时间推移检测特征重要性。通过几个实验，我们表明（i）一般来说，网络架构和显着性方法无法可靠和准确地识别时间序列数据中随时间推移的特征重要性，（ii）这种失败主要是由于时间域和特征域的混淆， (iii) 通过使用我们提出的两步时间显着性重缩放 (TSR) 方法可以显着提高显着性图的质量，该方法首先计算每个时间步的重要性，然后再计算每个时间步的每个特征的重要性。 | code1 | ||
| Normalizing Kalman Filters for Multivariate Time Series Analysis | NeurIPS 2020，AWS，26 (2022/04/03) | TSA | 本文处理概率设置中大型、复杂和多变量时间序列面板的建模。在这个程度上，我们提出了一种将经典状态空间模型与深度学习方法相协调的新方法。通过使用归一化流增强状态空间模型，我们减轻了状态空间模型中理想化假设所产生的不精确性。所得模型高度灵活，同时仍保留状态空间模型的许多吸引人的特性，例如，不确定性和观察误差得到适当考虑，推理易于处理，采样高效，即使在低数据状态下也观察到良好的泛化性能。我们在预测现实世界数据和处理不同级别的缺失数据的任务上展示了与最先进的深度学习方法相比的竞争力。 | code1 | |||
| Learnable Group Transform For Time-Series | ICML 2020，， (2022/04/03) | TSF | 我们提出了一种新的方法，通过考虑定义为组变换的信号的频谱分解来过滤时间序列的组学习。该框架允许我们推广经典的时频变换，例如小波变换，并有效地学习信号的表示。虽然小波变换滤波器组的创建依赖于母滤波器的仿射变换，但我们的方法允许非线性变换。此类映射引起的变换使我们能够跨越更大类别的信号表示，从小波到类似 chirplet 的滤波器。我们建议对这种非线性映射进行参数化，以便可以针对特定任务和信号优化其采样。可学习组变换可以转换为深度神经网络。对不同时间序列数据集的实验证明了该框架的表现力，可与最先进的性能相媲美。 | code1 | |||
| MixSeq | MixSeq: Connecting Macroscopic Time Series Forecasting with Microscopic Time Series Data | NeurIPS 2021，AntGroup | TSF | 时间序列预测广泛应用于商业智能，例如预测股票市场价格、销售额，并帮助分析数据趋势。大多数感兴趣的时间序列是从微观数据汇总的宏观时间序列。然而，很少有文献不是直接对宏观时间序列进行建模，而是通过利用微观层面的数据来研究宏观时间序列的预测。在本文中，我们假设微观时间序列遵循一些未知的混合概率分布。我们从理论上表明，当我们识别出ground truth 潜在混合分量时，由于方差较小，可以改进对每个分量的时间序列的估计，从而也有利于宏观时间序列的估计。受 Seq2seq 及其变体对时间序列数据建模的影响，我们提出了混合 Seq2seq (MixSeq)，这是一种用于聚类微观时间序列的端到端混合模型，其中所有组件都来自由不同参数化的 Seq2seq 模型家族参数。对合成数据和真实世界数据的广泛实验表明了我们方法的优越性。 | code1 | ||
| Time-Series Event Prediction with Evolutionary State Graph | WSDM 2021，Alibaba，4 (2022/04/03) | TSF | 时间序列数据中对未来事件的准确和可解释的预测通常需要捕获支持观测数据的代表性模式（或称为状态）。为此，现有的研究大多侧重于状态的表示和识别，而忽略了它们之间不断变化的过渡关系。在本文中，我们提出了进化状态图，这是一种动态图结构，旨在系统地表示状态（节点）之间随时间演变的关系（边）。我们对从时间序列数据构建的动态图进行分析，并表明图结构的变化（例如，连接某些状态节点的边）可以告知事件的发生（即时间序列波动）。受此启发，我们提出了一种新颖的图神经网络模型，即进化状态图网络（EvoNet），对进化状态图进行编码，以实现准确且可解释的时间序列事件预测。具体来说，进化状态图网络对节点级（状态到状态）和图级（段到段）传播进行建模，并随时间捕获节点到图（状态到段）的交互。基于五个真实世界数据集的实验结果表明，与 11 个基线相比，我们的方法不仅实现了明显的改进，而且为解释事件预测的结果提供了更多的见解。 | code1 | |||
| Long Horizon Forecasting With Temporal Point Processes | WSDM 2021，， (2022/04/03) | TSF | 近年来，标记时间点过程 (MTPP) 已成为一种强大的建模机制，用于在各种应用中表征异步事件。 MTPP 在预测事件时间方面显示出巨大的潜力，特别是对于在不久的将来到达的事件。然而，由于当前的设计选择，MTPP 在预测遥远未来的事件到达时往往表现出较差的预测性能。为了改善这一限制，在本文中，我们设计了 DualTPP，它特别适合长期事件预测。 DualTPP 有两个组成部分。第一个组件是无强度 MTPP 模型，它通过对未来事件的时间进行建模来捕捉微观事件动态。第二个组件采用不同的双重视角，对给定时间窗口中的事件聚合计数进行建模，从而封装宏观事件动态。然后，我们通过解决一系列受约束的二次优化问题，在这两个模型上联合开发了一个新颖的推理框架。对一组不同的真实数据集进行的实验表明，DualTPP 在长期预测方面优于现有的 MTPP 方法，大大提高了实际事件和预测之间的 Wasserstein 距离几乎减少了一个数量级。 | code1 | |||
| RobustPeriod: Robust Time-Frequency Mining for Multiple Periodicity Detection | SIGMOD 2021，DAMO，5 (2022/04/03) | 周期性检测 | 周期性检测是时间序列任务中的关键步骤，包括监控和预测许多领域的指标，例如物联网应用程序和自动驾驶数据库管理系统。在这些应用中的许多应用中，存在多个周期性分量并且通常彼此交错。这种动态和复杂的周期性模式使得准确的周期性检测变得困难。此外，时间序列中的其他成分，如趋势、异常值和噪声，也对准确的周期性检测提出了额外的挑战。在本文中，我们提出了一个稳健且通用的多周期检测框架。我们的算法应用最大重叠离散小波变换将时间序列转换为多个时频尺度，从而可以隔离不同的周期分量。我们通过小波方差对它们进行排序，然后在每个尺度上通过我们提出的 Huber 周期图和 Huber-ACF 稳健地检测单个周期性。我们严格证明了 Huber 周期图的理论性质，并证明了在 Huber 周期图上使用 Fisher 检验进行周期性检测的合理性。为了进一步细化检测到的周期，我们根据 Huber 周期图的 Wiener-Khinchin 定理计算无偏自相关函数，以提高鲁棒性和效率。对合成数据集和真实世界数据集的实验表明，我们的算法在单周期和多周期检测方面都优于其他流行的算法。 | code1 | |||
| Informer | Informer: Beyond efficient transformer for long sequence time-series forecasting | AAAI 2021，Beihang，156 (2022/04/03) | TSF，High Star | 许多实际应用需要预测长序列时间序列，例如电力消耗计划。长序列时间序列预测（LSTF）需要模型的高预测能力，即能够有效地捕捉输出和输入之间精确的长程依赖耦合。最近的研究表明，Transformer 具有提高预测能力的潜力。然而，Transformer 有几个严重的问题使其无法直接应用于 LSTF，包括二次时间复杂度、高内存使用率以及编码器-解码器架构的固有限制。为了解决这些问题，我们设计了一个高效的基于 Transformer 的 LSTF 模型，命名为 Informer，具有三个显着特征：（i）ProbSparse 自注意力机制，在时间复杂度和内存使用方面达到 O(Llog L)，并且具有序列依赖比对的可比性能。 (ii) 自注意力提炼通过将级联层输入减半来突出主导注意力，并有效地处理极长的输入序列。 (iii) 生成式解码器虽然在概念上很简单，但它在一次前向操作而不是逐步的方式预测长序列序列，这极大地提高了长序列预测的推理速度。在四个大规模数据集上进行的大量实验表明，Informer 明显优于现有方法，并为 LSTF 问题提供了新的解决方案。 | code1，dataset | ||
| Autoformer | Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting | NeurIPS 2021，THU，20 (2022/04/03) | TSF | 延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自我注意机制来发现长期依赖关系。然而，长期未来的复杂时间模式使模型无法找到可靠的依赖关系。此外，Transformers 必须采用稀疏版本的 point-wise self-attentions 以获得长序列效率，从而导致信息利用瓶颈。除了 Transformers，我们将 Autoformer 设计为一种具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例，并将其更新为深度模型的基本内部块。这种设计为 Autoformer 赋予了复杂时间序列的渐进分解能力。此外，受随机过程理论的启发，我们设计了基于序列周期性的自相关机制，在子序列级别进行依赖关系发现和表示聚合。自相关在效率和准确性方面都优于自我注意。在长期预测中，Autoformer 产生了最先进的准确性，在六个基准上相对提高了 38%，涵盖了五个实际应用：能源、交通、经济、天气和疾病。 | code1 | ||
| Probabilistic Transformer For Time Series Analysis | NeurIPS 2021，Cornell.edu，2 (2022/04/03) | TSF | 多变量时间序列的生成建模仍然具有挑战性，部分原因是跨长距离时间步长的复杂、非确定性动态。在本文中，我们提出了将状态空间模型 (SSM) 与变压器架构相结合的深度概率方法。与之前提出的 SSM 相比，我们的方法使用注意机制来模拟潜在空间中的非马尔可夫动力学，并完全避免递归神经网络。我们还扩展了我们的模型以包括以层次结构组织的多层随机变量，以进一步表达。与变压器模型相比，我们的模型是概率的、非自回归的，并且能够生成具有不确定性估计的各种长期预测。大量实验表明，我们的模型在各种任务和数据集上始终优于竞争基线，包括时间序列预测和人体运动预测。 | code1 | |||
| SSDNet | SSDNet: State Space Decomposition Neural Network for Time Series Forecasting | ICDM 2021，Sydney.edu，1 (2022/04/03) | TSF | 在本文中，我们介绍了 SSDNet，这是一种用于时间序列预测的新型深度学习方法。 SSDNet 将 Transformer 架构与状态空间模型相结合，以提供概率和可解释的预测，包括趋势和季节性分量以及对预测很重要的先前时间步长。 Transformer 架构用于直接有效地学习时间模式和估计状态空间模型的参数，而不需要卡尔曼滤波器。我们在五个数据集上综合评估了 SSDNet 的性能，表明 SSDNet 在准确性和速度方面是一种有效的方法，优于最先进的深度学习和统计方法，并且能够提供有意义的趋势和季节性成分。 | code1 | ||
| Aliformer | From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba | ICLR 2021，Alibaba，1 (2022/04/03) | TSF | 时间序列预测 (TSF) 在许多实际应用中都是必不可少的，例如用电量规划和销售预测。在电子商务中，准确的时间序列销售预测 (TSSF) 可以显着增加经济效益。电子商务中的 TSSF 旨在预测数百万种产品的未来销量。产品的趋势和季节性变化很大，促销活动严重影响销售。除了以上的困难，我们可以提前知道一些未来的知识，除了历史统计。这样的未来知识可能会反映未来促销活动对当前销售的影响，并有助于实现更好的准确性。然而，大多数现有的 TSF 方法仅根据历史信息预测未来。在这项工作中，我们弥补了未来知识的遗漏。除了引入未来知识进行预测外，我们提出了基于双向 Transformer 的 Aliformer，它可以利用历史信息、当前因素和未来知识来预测未来的销售。具体来说，我们设计了一个知识引导的自注意力层，它利用已知知识的一致性来指导时序信息的传输。并提出了未来强调的训练策略，使模型更加注重对未来知识的利用。对四个公共基准数据集和天猫提出的一个大规模工业数据集的广泛实验表明，Aliformer 的性能比最先进的 TSF 方法要好得多。 Aliformer 已部署在天猫行业表上进行商品选择，数据集将在获得批准后发布。 | code1 | ||
| Pyraformer | Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting | ICLR 2022 Oral，SJTU，1 (2022/04/03) | TSF | 根据过去的时间序列数据准确预测未来至关重要，因为它为提前做出决策和风险管理打开了大门。在实践中，挑战在于构建一个灵活但简洁的模型，该模型可以捕获广泛的时间依赖性。在本文中，我们通过探索时间序列的多分辨率表示来提出 Pyraformer。具体来说，我们介绍了金字塔注意模块（PAM），其中尺度间树结构总结了不同分辨率的特征，尺度内相邻连接对不同范围的时间依赖性进行建模。在温和条件下，Pyraformer 中信号遍历路径的最大长度相对于序列长度 L 是一个常数（即 O(1)），而其时间和空间复杂度与 L 成线性关系。大量实验结果表明，Pyraformer通常在单步和远程多步预测任务中以最少的时间和内存消耗实现最高的预测精度，尤其是当序列很长时。 | code1 | ||
| FEDformer | FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting | arXiv 2022，Alibaba，1 (2022/04/03) | TSF | 尽管基于 Transformer 的方法显着改善了长期序列预测的最新结果，但它们不仅计算成本高，而且更重要的是，无法捕捉时间序列的全局视图（例如总体趋势）。为了解决这些问题，我们建议将 Transformer 与季节性趋势分解方法结合起来，其中分解方法捕获时间序列的全局轮廓，而 Transformer 捕获更详细的结构。为了进一步提高 Transformer 在长期预测方面的性能，我们利用大多数时间序列在傅立叶变换等众所周知的基础上倾向于具有稀疏表示的事实，并开发了频率增强型 Transformer。除了更有效之外，所提出的方法，称为频率增强分解变压器（{\bf FEDformer}），比具有线性复杂度的序列长度的标准变压器更有效。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FEDformer 可以将多变量和单变量时间序列的预测误差分别降低 14.8% 和 22.6%。代码将很快发布。 | code1 | ||
| TCCT | TCCT: Tightly-coupled convolutional transformer on time series forecasting | Neurocomputing 2022，， (2022/04/03) | TSF | 时间序列预测对于广泛的实际应用至关重要。最近的研究表明，Transformer 在处理此类问题方面具有优越性，尤其是长序列时间序列输入（LSTI）和长序列时间序列预测（LSTF）问题。为了提高 Transformer 的效率和增强局部性，这些研究将 Transformer 与 CNN 进行了不同程度的结合。但是，它们的组合是松耦合的，并没有充分利用 CNN。为了解决这个问题，我们提出了紧耦合卷积变换器（TCCT）的概念和三个将变换后的 CNN 架构应用到 Transformer 中的 TCCT 架构：（1）CSPAttention：通过将 CSPNet 与自注意力机制融合，自注意力机制的计算成本注意力机制减少 30%，内存使用减少 50%，同时达到或超过预测精度。 (2)扩张因果卷积：该方法是通过用扩张因果卷积层替换规范卷积层来修改Informer提出的蒸馏操作，以获得指数级的感受野增长。 (3) Passthrough 机制：将 passthrough 机制应用于自注意力块堆栈有助于 Transformer 类模型以可忽略的额外计算成本获得更细粒度的信息。我们在真实世界数据集上的实验表明，我们的 TCCT 架构可以极大地提高现有最先进的 Transformer 模型在时间序列预测方面的性能，同时降低计算和内存成本，包括规范 Transformer、LogTrans 和 Informer。 | code1 | ||
| ICML 2020，， (2022/04/03) | TSF | code1 |
时间序列分类/聚类（Time Series Classification/Cluster，TSC）
本部分包含分类任务和聚类任务。
| ID | Model | 论文名称(Title)/下载(Download) | 出版机构(C/J)/作者(Author)/被引(Cited) | 研究领域(Field) | 摘要(Abstract)/模型特点(Characteristics) | 官方/第三方代码(Code) | 笔记/代码/教程(Tutorial) |
|---|---|---|---|---|---|---|---|
| Temporal Phenotyping using Deep Predictive Clustering of Disease Progression | ICML 2020，UCLA，18 (2022/04/03) | TSF | 由于现代电子健康记录的广泛可用性，患者护理数据通常以时间序列的形式存储。对此类时间序列数据进行聚类对于患者表型分析、通过识别“相似”患者来预测患者的预后以及设计适合同质患者亚组的治疗指南至关重要。在本文中，我们开发了一种用于对时间序列数据进行聚类的深度学习方法，其中每个聚类包含具有相似未来兴趣结果的患者（例如，不良事件、合并症的发作）。为了鼓励每个集群具有同质的未来结果，聚类是通过学习离散表示来进行的，这些表示最能描述基于新损失函数的未来结果分布。对两个真实世界数据集的实验表明，我们的模型在最先进的基准上实现了卓越的聚类性能，并识别出有意义的聚类，这些聚类可以转化为临床决策的可操作信息。 | code1 | |||
| Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Time Intervals | WSDM 2021，PSU，15 (2022/04/03) | TSC | 时间序列数据在各种现实世界的应用中普遍存在，它需要可信赖且可解释的模型，以便人们理解并完全信任人工智能解决方案做出的决策。我们考虑从多变量时间序列数据构建可解释分类器的问题。理解这种预测模型的一个关键标准包括阐明和量化随时间变化的输入变量对分类的贡献。因此，我们引入了一种新颖的、模块化的、基于卷积的特征提取和注意机制，可以同时识别变量以及确定分类器输出的时间间隔。我们展示了使用多个基准数据集进行的广泛实验的结果，这些结果表明，所提出的方法在多变量时间序列分类任务上优于最先进的基线方法。我们的案例研究结果表明，所提出的方法确定的变量和时间间隔相对于可用的领域知识是有意义的。 | code1 | |||
| A transformer-based framework for multivariate time series representation learning | KDD 2021，Brown，34 (2022/04/03) | TSC，Transformer | 在这项工作中，我们首次提出了一种基于Transformer的框架，用于多变量时间序列的无监督表示学习。预训练模型可以潜在地用于下游任务，例如回归和分类、预测和缺失值插补。通过在多个用于多元时间序列回归和分类的基准数据集上评估我们的模型，我们表明我们的建模方法代表了迄今为止采用无监督学习多元时间序列的最成功的方法；它也是第一个显示超过监督方法当前最先进性能的无监督方法。即使在训练样本的数量非常有限的情况下，它也有很大的优势，同时提供了计算效率。最后，我们证明了我们的 Transformer 模型的无监督预训练比完全监督学习提供了显着的性能优势，即使没有利用额外的未标记数据，即通过无监督目标重用相同的数据样本。 | code1 | |||
| Voice2series | Voice2series: Reprogramming acoustic models for time series classification | ICML 2021，，8 (2022/04/03) | TSC ，Transformer | 学习用有限的数据对时间序列进行分类是一个实际但具有挑战性的问题。当前的方法主要基于手工设计的特征提取规则或特定领域的数据增强。受深度语音处理模型的进步和语音数据是单变量时间信号这一事实的启发，在本文中，我们提出了 Voice2Series (V2S)，这是一种新颖的端到端方法，通过输入重新编程用于时间序列分类的声学模型转换学习和输出标签映射。利用大规模预训练语音处理模型的表示学习能力，在 30 个不同的时间序列任务上，我们展示了 V2S 在 19 个时间序列分类任务上的竞争结果。我们进一步提供了 V2S 的理论依据，证明其人口风险是源风险的上限，而 Wasserstein 距离通过重新编程来解释特征对齐。我们的结果为时间序列分类提供了新的有效方法。 | code1 | ||
| GTN | Gated Transformer Networks for Multivariate Time Series Classification | arXiv 2021，ZZU，4 (2022/04/03) | TSC | 用于时间序列分类的深度学习模型（主要是卷积网络和 LSTM）已被社区广泛研究，并在医疗保健、金融、工业工程和物联网等不同领域得到广泛应用。同时，Transformer Networks 最近在各种自然语言处理和计算机视觉任务上取得了前沿性能。在这项工作中，我们探索了当前带有门控的 Transformer Networks 的简单扩展，称为 Gated Transformer Networks (GTN)，用于解决多变量时间序列分类问题。通过合并两个 Transformer 塔的门控，它们分别对通道相关和逐步相关进行建模，我们展示了 GTN 如何自然而有效地适用于多变量时间序列分类任务。我们对 13 个数据集进行了全面的实验，并进行了完整的消融研究。我们的结果表明，GTN 能够与当前最先进的深度学习模型取得竞争结果。我们还探索了 GTN 在时间序列建模上的自然可解释性的注意力图。我们的初步结果为 Transformer Networks 在多变量时间序列分类任务上提供了强有力的基线，并为未来的研究奠定了基础。 | code1 | ||
| Self-Supervised Transformer for Sparse and Irregularly Sampled Multivariate Clinical Time-Series | ACM TKDD 2022，VT.EDU， (2022/04/03) | TSF | 在重症监护环境中经常观察到多变量时间序列数据，并且通常以稀疏（缺失信息）和不规则的时间间隔为特征。该领域中用于学习表示的现有方法通过聚合或插补值来处理这些挑战，这反过来又抑制了细粒度信息，并在机器学习模型中添加了不希望的噪声/开销。为了解决这个问题，我们提出了一种时间序列自监督变换器 (STraTS) 模型，该模型通过将时间序列视为一组观察三元组而不是使用标准的密集矩阵表示来克服这些缺陷。它采用一种新颖的连续值嵌入技术来编码连续时间和变量值，而无需离散化。它由具有多头注意力层的 Transformer 组件组成，使其能够学习上下文三元组嵌入，同时避免循环架构中出现的递归和梯度消失问题。此外，为了解决标记数据可用性有限的问题（这通常在许多医疗保健应用程序中观察到），STraTS 通过利用未标记数据来利用自我监督，通过使用时间序列预测作为辅助代理任务来学习更好的表示。对真实世界多变量临床时间序列基准数据集的实验表明，STraTS 比最先进的死亡率预测方法具有更好的预测性能，尤其是在标记数据有限的情况下。最后，我们还提出了一个可解释的 STraTS 版本，它可以识别时间序列数据中的重要测量值。 | code1 | |||
| TSF | code1 |
时间序列异常检测（Time Series Anomaly Detection，TSAD）
| ID | Model | 论文名称(Title)/下载(Download) | 出版机构(C/J)/作者(Author)/被引(Cited) | 研究领域(Field) | 摘要(Abstract)/模型特点(Characteristics) | 官方/第三方代码(Code) | 笔记/代码/教程(Tutorial) |
|---|---|---|---|---|---|---|---|
| THOC | Timeseries Anomaly Detection using Temporal Hierarchical One-Class Network | NeurIPS 2020，，27(2022/04/03) | TSF | 现实世界的时间序列具有复杂的潜在时间动态，异常检测具有挑战性。在本文中，我们提出了时间层次一类 (THOC) 网络，这是一种用于时间序列异常检测的时间一类分类模型。它通过使用具有跳跃连接的扩张循环神经网络来捕获多个尺度的时间动态。使用通过层次聚类过程获得的多个超球体，定义了称为多尺度矢量数据描述的一类目标。这允许时间动态被一组多分辨率时间集群很好地捕获。为了进一步促进表示学习，鼓励超球面中心相互正交，并在时间域中添加了自我监督任务。整个模型可以进行端到端的训练。对各种现实世界时间序列的广泛实证研究表明，所提出的 THOC 网络在时间序列异常检测方面优于最近的强深度学习基线。 | code1 | ||
| Time2Graph | Time2Graph: Revisiting Time Series Modeling with Dynamic Shapelets | AAAI 2020，ZJU，18 (2022/04/03) | TSAD | 时间序列建模吸引了广泛的研究工作；然而，从一个统一的模型中实现可靠的效率和可解释性仍然是一个具有挑战性的问题。在文献中，shapelets 在分类任务中提供了可解释和解释性的见解，而大多数现有作品忽略了不同时间片上的不同代表能力，以及（更重要的是）shapelets 的演变模式。在本文中，我们建议通过设计两级时序因子来提取时间感知 shapelets。此外，我们定义并构建了 shapelet 演化图，它捕捉了 shapelet 如何随时间演化，并且可以通过图嵌入算法纳入时间序列嵌入中。为了验证以这种方式获得的表示是否可以有效地应用于各种场景，我们基于三个公共时间序列数据集和两个来自不同领域的真实数据集进行了实验。与 17 个最先进的基线相比，实验结果清楚地表明了我们的方法所取得的改进。 | code1 | ||
| F-FADE | F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams | WSDM 2021，barracuda，9 (2022/04/03) | TSAD | 边缘流通常用于捕获动态网络中的交互，例如电子邮件、社交或计算机网络。在边缘流中检测异常或罕见事件的问题具有广泛的应用。然而，由于缺乏标签、交互的高度动态性以及网络中时间和结构变化的纠缠，它提出了许多挑战。当前的方法在解决上述挑战和有效处理大量交互方面的能力有限。在这里，我们提出了 F-FADE，这是一种检测边缘流异常的新方法，它使用一种新的频率分解技术来有效地模拟节点对之间交互频率的时间演化分布。然后根据观察到的每个传入交互的频率的可能性来确定异常。 F-FADE 能够在在线流媒体设置中处理各种具有时间和结构变化的异常，同时只需要恒定的内存。我们对一个合成和六个真实世界动态网络的实验表明，F-FADE 实现了最先进的性能，并且可以检测到以前方法无法发现的异常。 | code1 | ||
| FeatTS: Feature-based Time Series Clustering | SIGMOD 2021 | TSC | 聚类时间序列是涉及数据科学和数据分析管道的实际应用程序中经常出现的问题。现有的时间序列聚类算法对于特征丰富的现实世界时间序列是无效的，因为它们只比较基于原始数据的时间序列或使用一组固定的特征来确定相似度。在本文中，我们展示了 FeatTS，这是一个基于特征的半监督聚类框架，解决了可变长度和异构时间序列的上述问题。具体来说，FeatTS 利用时间序列的图形编码，该编码是通过考虑大量重要的提取特征而获得的。然后，它采用社区检测并建立在共现矩阵的基础上，以统一所有最佳聚类结果。我们让用户通过可视化初始数据、其图形编码及其社区划分以及获得的集群来探索 FeatTS 的各个步骤。我们展示了用户如何与过程交互以选择特征以及改变输入标签的百分比和各种参数。鉴于其特点，FeatTS 优于最先进的聚类方法，并且是第一个能够消化特定领域时间序列（例如医疗保健时间序列）的方法，同时仍然具有健壮性和可扩展性。 | code1 | |||
| TSAD | code1 |
时空预测（Spatio-Temporal Forecasting，STF）
| ID | Model | 论文名称(Title)/下载(Download) | 出版机构(C/J)/作者(Author)/被引(Cited) | 研究领域(Field) | 摘要(Abstract)/模型特点(Characteristics) | 官方/第三方代码(Code) | 笔记/代码/教程(Tutorial) |
|---|---|---|---|---|---|---|---|
| EvolveGraph | EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning | NeurIPS 2020，UCB，59 (2022/04/03) | TSF | 多智能体交互系统在世界上很普遍，从纯粹的物理系统到复杂的社会动态系统。在许多应用中，交互式代理对情况的有效理解和准确的轨迹预测在决策制定和规划等下游任务中发挥着重要作用。在本文中，我们提出了一个通用轨迹预测框架（名为 EvolveGraph），通过多个异构交互代理之间的潜在交互图进行显式关系结构识别和预测。考虑到未来行为的不确定性，该模型旨在提供多模态预测假设。由于即使发生突然变化，潜在的交互也可能会演变，并且不同的演化方式可能会导致不同的结果，因此我们解决了动态关系推理和自适应演化交互图的必要性。我们还引入了双阶段训练管道，不仅提高了训练效率和加速收敛，而且增强了模型性能。所提出的框架在合成物理模拟和各个领域的多个真实世界基准数据集上进行了评估。实验结果表明，我们的方法在预测精度方面达到了最先进的性能。 | code1 | ||
| Multi-agent Trajectory Prediction with Fuzzy Query Attention | NeurIPS 2020，USC，6 (2022/04/03) | TSF | 具有多个代理和实体的场景的轨迹预测是交通预测、行人跟踪和路径规划等众多领域中的一个具有挑战性的问题。我们提出了一个通用架构来应对这一挑战，该架构对运动的关键归纳偏差进行建模，即惯性、相对运动、意图和交互。具体来说，我们提出了一个关系模型来灵活地模拟不同环境中代理之间的交互。由于众所周知，人类决策本质上是模糊的，因此我们模型的核心在于一种新颖的注意力机制，该机制通过做出连续值（模糊）决策并学习相应的响应来模拟交互。我们的架构展示了在不同领域（例如人群轨迹、美国高速公路交通、NBA 体育数据和物理数据集）中现有最先进的预测模型的显着性能提升。我们还提出了消融和增强，以了解我们模型中的决策过程和收益来源。 | code1 | |||
| TMU | Unsupervised Transfer Learning for Spatiotemporal Predictive Networks | ICML 2020，THU，4 (2022/04/03) | TSF | 本文探讨了跨多个时空预测任务的无监督迁移学习的新研究问题。与大多数专注于解决监督任务之间差异的现有迁移学习方法不同，我们研究如何将知识从无监督学习模型迁移到另一个预测网络。我们的动机是期望来自不同来源的模型从不同的角度理解复杂的时空动态，从而有效地补充新任务，即使任务有足够的训练样本。从技术上讲，我们提出了一个可微分框架，称为可传输记忆。它自适应地从多个预训练 RNN 的一组记忆状态中提取知识，并通过一种称为可传输记忆单元 (TMU) 的新型循环结构将其应用于目标网络。 | code1 | ||
| ATGCN | Modeling Inter-station Relationships with Attentive Temporal Graph Convolutional Network for Air Quality Prediction | WSDM 2021，SJTU，8 (2022/04/03) | TSF | 空气污染是一个日益受到关注的重要环境问题，它影响着人类健康。准确的空气质量预测对于避免人们遭受严重的空气污染至关重要。大多数先前的工作都集中在捕捉每个监测站的空气质量的时间趋势。最近基于深度学习的方法还模拟了相邻站点之间的空间依赖性。然而，我们观察到，除了地理空间上相邻的站点外，具有相似功能或一致时间模式的站点也可能具有很强的依赖性。在本文中，我们提出了一个注意力时间图卷积网络（ATGCN）来模拟不同的站间关系，用于全市站的空气质量预测。具体来说，我们首先将三种类型的站点之间的关系编码为图形，包括空间邻接、功能相似性和时间模式相似性。然后我们设计了并行编码模块，它们分别将注意力集中的图卷积操作合并到门控循环单元（GRUs）中，以迭代地聚合来自具有不同图的相关站点的特征。此外，增加了一个基于注意力的融合单元，具有与编码模块相似结构的解码模块被设计为为所有站点生成多步预测。在两个真实世界数据集上的实验证明了我们模型的卓越性能超越了最先进的方法。 | code1 | ||
| PDSTN | Predicting Crowd Flows via Pyramid Dilated Deeper Spatial-temporal Network | WSDM 2021，THU，4 (2022/04/03) | TSF | 预测人群流动对于城市规划、交通管理和公共安全至关重要。然而，由于三个挑战，预测人群流动并非易事：1）各种服务收集的高度异构的移动数据； 2) 人群流动的复杂时空相关性，包括多尺度空间相关性以及非线性时间相关性。 3) 长期时间模式的多样性。为了应对这些挑战，我们提出了一种端到端架构，称为金字塔扩张时空网络 (PDSTN)，以通过一种新颖的注意力机制有效地学习人群流动的时空表示。具体来说，PDSTN 采用 ConvLSTM 结构来识别同时捕获时空相关性的复杂特征，然后堆叠多个 ConvLSTM 单元以进行更深层次的特征提取。为了进一步提高空间学习能力，引入了金字塔扩张残差网络，采用多个扩张残差ConvLSTM网络提取多尺度空间信息。此外，一种新颖的注意力机制，它同时考虑了长期周期性和周期性的变化，旨在研究不同的时间模式。在三个高度异构的现实世界移动数据集上进行了广泛的实验，以说明 PDSTN 超越最先进方法的有效性。此外，PDSTN 为预测提供了直观的解释。 | code1 | ||
| Temporal Cross-Effects in Knowledge Tracing | WSDM 2021，THU | 时空知识图谱 | 知识追踪（KT）旨在根据学生的历史表现对他们的知识水平进行建模，在计算机辅助教育和适应性学习中发挥着重要作用。最近的研究试图考虑过去交互的时间影响，例如遗忘行为。然而，现有工作主要依赖于时间相关特征或全局衰减函数来模拟时间敏感效应。不同交叉技能影响的细粒度时间动态尚未得到很好的研究（称为时间交叉效应）。例如，一些高难度技能的交叉影响可能会迅速下降，而先前不同交互所造成的影响也可能有不同的时间演变，无法以全局方式捕获。在这项工作中，我们研究了 KT 中不同技能之间的细粒度时间交叉效应。我们首先通过实证研究验证现实世界数据集中时间交叉效应的存在。然后，提出了一种新模型 HawkesKT 来显式建模受点过程启发的时间交叉效应，其中每个先前的交互将对目标技能的掌握产生不同的时间敏感影响。 HawkesKT 采用两个组件来模拟时间交叉效应：1）互激励表示交叉效应的程度，2）核函数控制自适应时间演化。据我们所知，我们是第一个引入霍克斯过程来模拟 KT 中的时间交叉效应的人。在三个基准数据集上进行的大量实验表明，HawkesKT 优于最先进的 KT 方法。值得注意的是，我们的方法还表现出出色的可解释性，并在训练效率方面显示出显着优势，这使其更适用于现实世界的大规模教育环境。 | code1 | |||
| Learning Dynamic Embeddings for Temporal Knowledge Graphs | WSDM 2021，UCL，6 (2022/04/03) | 时空知识图谱 | 近年来，时间知识图的表示学习引起了越来越多的关注。在本文中，我们研究了学习时间知识图的动态嵌入的问题。我们通过提出动态贝叶斯知识图嵌入模型 (DBKGE) 来解决这个问题，该模型能够在联合度量空间中随时间动态跟踪实体的语义表示并对未来进行预测。与其他时间知识图嵌入方法不同，DBKGE 是一种新颖的概率表示学习方法，旨在推断流场景中实体的动态嵌入。为了获得高质量的嵌入并对它们的不确定性进行建模，我们的 DBKGE 嵌入了具有高斯分布均值和方差的实体。基于摊销推理，提出了一种在线推理算法，用于联合学习实体的潜在表示并平滑其随时间的变化。在 Yago 和 Wiki 数据集上的实验表明，我们提出的算法优于最先进的静态和时间知识图嵌入模型。 | ||||
| TSExplain: Surfacing Evolving Explanations for Time Series | SIGMOD 2021，Columbia | 可解释性时间序列决策 | 在当今的业务决策过程中，了解所发生事件的基本解释变得越来越重要。现有的解释引擎专注于解释两个给定集合之间的差异。然而，对于时间序列，解释通常会随着时间的推移而发展。因此，仅考虑两个结束时间戳会错过其间的所有解释。为了缓解这种情况，我们演示了 TSExplain，这是一个帮助用户理解任何聚合时间序列的潜在演变解释的系统。在内部，TSExplain 将解释问题建模为时间维度上的分段问题，并使用现有的关于两组差异的工作作为构建块。在我们的演示中，与会者将能够轻松地以交互方式探索不断演变的解释，并可视化这些解释如何促成各种数据集的整体变化：COVID-19、S&P500、爱荷华州酒类销售。诸如“哪些州使 COVID-19 确诊病例总数在过去一年中急剧上升？”、“哪些股票推动了标准普尔 500 指数在 3 月份的剧烈崩盘以及之后的快速反弹？”以及“酒类销售趋势如何？从 2020 年 1 月到现在的样子以及为什么”-TSExplain 都可以很好地回答。 | code1 | |||
| Spatio-temporal graph transformer networks for pedestrian trajectory prediction | ECCV 2020，NUS，102 (2022/04/03) | STF | 了解人群运动动力学对于现实世界的应用至关重要，例如监控系统和自动驾驶。这是具有挑战性的，因为它需要有效地建模具有社会意识的人群空间交互和复杂的时间依赖性。我们认为注意力是轨迹预测的最重要因素。在本文中，我们提出了 STAR，一个时空图Transformer框架，它仅通过注意力机制来处理轨迹预测。 STAR 通过 TGConv（一种新颖的基于 Transformer 的图卷积机制）对图内人群交互进行建模。图间时间依赖关系由单独的时间Transformer建模。 STAR 通过空间和时间 Transformer 之间的交错来捕获复杂的时空交互。为了校准对消失行人的长期影响的时间预测，我们引入了一个可读写的外部存储器模块，该模块始终由时间 Transformer 更新。我们表明，仅通过注意力机制，STAR 在 5 个常用的现实世界行人预测数据集上实现了最先进的性能。 | code1 | |||
| Spatial-temporal transformer networks for traffic flow forecasting | NeurIPS 2020，， (2022/04/03) | STF | 交通预测已成为智能交通系统的核心组成部分。然而，由于交通流高度非线性和动态的时空依赖性，及时准确的交通预测，尤其是长期预测仍然是一个开放的挑战。在本文中，我们提出了一种新的时空变换器网络 (STTN) 范式，该范式利用动态定向空间依赖和长期时间依赖来提高长期交通预测的准确性。具体来说，我们提出了一种新的图神经网络变体，称为空间变换器，通过使用自注意机制动态建模定向空间依赖关系来捕获实时交通状况以及交通流的方向性。此外，不同的空间依赖模式可以与多头注意力机制联合建模，以考虑与不同因素（例如相似性、连通性和协方差）相关的各种关系。另一方面，时间变换器用于对跨多个时间步长的远程双向时间依赖性进行建模。最后，它们被组合成一个块来联合建模时空依赖关系，以实现准确的交通预测。与现有工作相比，所提出的模型能够在长范围的时空依赖性上进行快速且可扩展的训练。实验结果表明，与最先进的模型相比，所提出的模型取得了有竞争力的结果，尤其是在真实世界的 PeMS-Bay 和 PeMSD7(M) 数据集上预测长期交通流量。 | code1 | |||
| TSC | code1 |
前瞻性研究（Novel Study）
该部分总结了适用于特定任务的模型。
| ID | Model | 论文名称(Title)/下载(Download) | 出版机构(C/J)/作者(Author)/被引(Cited) | 研究领域(Field) | 摘要(Abstract)/模型特点(Characteristics) | 官方/第三方代码(Code) | 笔记/代码/教程(Tutorial) |
|---|---|---|---|---|---|---|---|
| SNNs | Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural | NeurIPS 2020，UCSB，41 (2022/04/03) | 新型神经网络 | 尖峰神经网络 (SNN) 非常适合在高能效事件驱动的神经形态处理器上进行时空学习和实现。然而，与传统人工神经网络的 BP 方法相比，现有的 SNN 误差反向传播 (BP) 方法缺乏对尖峰不连续性的适当处理，并且性能低下。此外，通常需要大量时间步才能实现良好的性能，这会导致高延迟并使基于尖峰的计算无法扩展到深度架构。我们提出了一种新的时间尖峰序列学习反向传播 (TSSL-BP) 方法来训练深度 SNN，它打破了跨两种类型的神经元间和神经元内依赖关系的误差反向传播，并提高了时间学习精度。它通过考虑触发活动的全有或全无特征，通过突触前触发时间捕获神经元间的依赖关系，并通过及时处理每个神经元状态的内部演化来捕获神经元内的依赖关系。 TSSL-BP 在大大缩短的几个步骤的时间窗口内有效地训练深度 SNN，同时提高包括 CIFAR10 在内的各种图像分类数据集的准确性。 | code1 | ||
| Learning Long-Term Dependencies in Irregularly-Sampled Time Series | NeurIPS 2020，MIT，34 (2022/04/03) | 新型神经网络 | 具有连续时间隐藏状态的递归神经网络 (RNN) 非常适合对不规则采样的时间序列进行建模。然而，当输入数据具有长期依赖关系时，这些模型会面临困难。我们证明，与标准 RNN 类似，这个问题的根本原因是训练期间梯度的消失或爆炸。这种现象由隐藏状态的常微分方程 (ODE) 表示，而与 ODE 求解器的选择无关。我们通过设计一种基于长短期记忆 (LSTM) 的新算法来提供解决方案，该算法将其记忆与其时间连续状态分开。通过这种方式，我们在 RNN 中编码了一个连续时间的动态流，允许它响应以任意时间延迟到达的输入，同时确保通过内存路径不断传播错误。我们将这些 RNN 模型称为 ODE-LSTM。我们通过实验表明，在具有长期依赖性的非均匀采样数据上，ODE-LSTM 优于基于 RNN 的高级对应物。 | code1 | |||
| Kernelized Stein Discrepancy Tests of Goodness-of-fit for Time-to-Event Data | ICML 2020，UCL，7 (2022/04/03) | 生存分析 | 生存分析和可靠性理论与事件发生时间数据的分析有关，其中观察对应于等待时间，直到感兴趣的事件发生，例如因特定疾病死亡或机械系统中的组件故障。由于存在审查，这种类型的数据是独一无二的，审查是一种缺失数据，当我们没有观察感兴趣事件的实际时间时会发生这种数据，相反，我们可以访问由随机间隔给出的近似值已知观察属于哪个。大多数传统方法并非旨在处理审查，因此我们需要使它们适应审查的事件发生时间数据。在本文中，我们专注于基于结合 Stein 方法和核化差异的非参数拟合优度测试程序。虽然对于未经审查的数据，有一种实现核化 Stein 差异检验的自然方法，但对于审查数据，有多种选择，每种都有不同的优点和缺点。在本文中，我们提出了一系列针对时间到事件数据的核化 Stein 差异检验，并从理论上和经验上研究了它们中的每一个；我们的实验结果表明，我们提出的方法比现有测试表现更好，包括以前基于核化最大平均差异的测试。 | code1 | |||
| Spectral Subsampling MCMC for Stationary Time Series | ICML 2020，UNSU，8 (2022/04/03) | 模型优化 | 近年来，在大型数据集上使用马尔可夫链蒙特卡罗（MCMC）进行贝叶斯推理发展迅速。然而，底层方法通常仅限于相对简单的设置，其中数据具有特定形式的独立性。我们提出了一种新技术，通过在频域中进行有效的数据二次采样来加速时间序列数据的 MCMC。对于几个具有挑战性的时间序列模型，我们展示了高达两个数量级的加速，同时与完整数据集上的 MCMC 相比，产生的偏差可以忽略不计。我们还提出了基于数据分组和核心集结构的替代控制变量来减少方差。 | code1 | |||
| Continuous Time Bayesian Networks with Clocks | ICML 2020，BCS.TU，4 (2022/04/03) | 模型优化 | 在连续时间内演化的结构化随机过程提供了一个广泛采用的框架来模拟自然界和工程中发生的现象。但是，通常选择此类模型来满足马尔可夫属性以保持易处理性。这种无记忆模型中比较流行的一种是连续时间贝叶斯网络（CTBN）。在这项工作中，我们将其对指数生存时间的限制提升到任意分布。当前的扩展通过辅助状态来实现这一点，这阻碍了易处理性。为了避免这种情况，我们引入了一组节点时钟来构建图耦合半马尔可夫链的集合。我们提供用于参数和结构推断的算法，该算法利用本地依赖关系并对合成数据和通过基因调控网络基准工具生成的数据集进行实验。在此过程中，我们指出了与当前 CTBN 扩展相比的优势。 | code1 | |||
| Time Series Deconfounder: Estimating Treatment Effects over Time in the Presence of Hidden Confounders | ICML 2020，Oxford，32 (2022/04/03) | 模型优化 | 治疗效果的估计是医学中普遍存在的问题。从纵向观察数据估计治疗效果的现有方法假设没有隐藏的混杂因素，这一假设在实践中不可检验，如果不成立，则会导致估计有偏差。在本文中，我们开发了时间序列去混杂因素，该方法利用随着时间的推移分配多种治疗方法，可以在存在多原因隐藏混杂因素的情况下估计治疗效果。 Time Series Deconfounder 使用具有多任务输出的新型循环神经网络架构来构建一个随时间推移的因子模型并推断潜在变量，从而使分配的处理条件独立；然后，它使用这些潜在变量执行因果推断，这些潜在变量充当多原因未观察到的混杂因素的替代品。我们提供了一个理论分析，用于使用时间序列去混杂因素获得时变暴露的无偏因果效应。使用模拟和真实数据，我们展示了我们的方法在消除对治疗反应的估计随时间推移的有效性。 | code1 | |||
| Sparse-Interest Network for Sequential Recommendation | WSDM 2021，Alibaba，11 (2022/04/03) | 基于用户购买行为的顺序推荐 | 最近的顺序推荐方法侧重于从用户的行为序列中学习整体嵌入向量，以进行下一项推荐。然而，通过实证分析，我们发现用户的行为序列通常包含多个概念上不同的项目，而统一的嵌入向量主要受一个人最近的频繁行为的影响。因此，如果概念上相似的项目在最近的交互中不占主导地位，它可能无法推断出下一个首选项目。为此，另一种解决方案是用多个嵌入向量表示每个用户，该向量编码用户意图的不同方面。然而，最近关于多兴趣嵌入的工作通常考虑通过聚类发现的少量概念，这可能无法与实际系统中的大量项目类别相媲美。有效地对大量不同的概念原型进行建模是一项艰巨的任务，因为项目在概念上通常不能很好地以细粒度进行聚类。此外，一个人通常只与一组稀疏的概念交互。鉴于此，我们提出了一种新颖的稀疏兴趣网络（SINE）用于顺序推荐。我们的稀疏兴趣模块可以从大型概念池中自适应地为每个用户推断一组稀疏概念，并相应地输出多个嵌入。给定多个兴趣嵌入，我们开发了一个兴趣聚合模块来主动预测用户的当前意图，然后使用它来显式地建模多个兴趣以进行下一个项目的预测。几个公共基准数据集和一个大型工业数据集的实证结果表明，SINE 可以比最先进的方法实现实质性改进。 | code1 | |||
| Temporal Meta-path Guided Explainable Recommendation | WSDM 2021，UTS，19 (2022/04/03) | 基于用户购买行为的顺序推荐 | 由于知识图谱提供的丰富信息，基于路径的可解释推荐系统的最新进展引起了越来越多的关注。大多数现有的可解释推荐仅利用静态知识图谱，而忽略了动态的用户-项目演变，导致缺乏说服力和不准确的解释。尽管有一些工作意识到对用户的时间顺序行为建模可以提高推荐系统的性能和可解释性，但其中大多数要么只关注路径内的用户顺序交互，要么独立于推荐机制。在本文中，我们提出了一种新颖的时间元路径引导的可解释推荐（TMER），它利用精心设计的具有注意机制的连续项目之间的项目-项目路径建模，在动态知识图上对动态用户-项目演化进行顺序建模，以获得可解释的推荐.与使用大量递归神经网络对时间信息进行建模的现有工作相比，我们提出了简单但有效的神经网络来捕获用户的历史项目特征和基于路径的上下文来表征下一个购买的项目。在三个真实世界基准数据集上对 TMER 进行的广泛评估显示了与最近的强大基准相比的最先进性能。 | code1 | |||
| Real-time Data Infrastructure at Uber | SIGMOD 2021，Uber，5 (2022/04/03) | TSAD | 优步的业务本质上是高度实时的。每天都在不断地从优步司机、乘客、餐馆、食客等终端用户那里收集 PB 级的数据。对于客户激励、欺诈检测、机器学习模型预测等各种用例，需要处理大量有价值的信息，并且必须在几秒钟内做出许多决策。此外，越来越需要将这种能力暴露给不同的用户类别，包括工程师、数据科学家、高管和运营人员，这增加了复杂性。在本文中，我们展示了实时数据基础架构的整体架构，并确定了我们需要为架构中的每个组件持续解决的三个扩展挑战。在 Uber，我们在基础设施的关键领域严重依赖开源技术。除了这些开源软件之外，我们还进行了重大改进和定制，以使开源解决方案适合 Uber 的环境，并弥补差距以满足 Uber 独特的规模和要求。然后，我们重点介绍几个重要的用例，并展示它们的实时解决方案和权衡。最后，我们回顾了我们在构建、操作和扩展这些系统时所吸取的教训。 | code1 | |||
| AutoAI-TS | AutoAI-TS:AutoAI for Time Series Forecasting | SIGMOD 2021，IBM | TSAD | 文献中提出了大量的时间序列预测模型，包括传统的统计模型、机器学习模型和最近的深度学习。然而，选择正确的模型以及在给定数据上表现良好的良好参数值仍然具有挑战性。为给定的数据集自动为用户提供一组好的模型可以节省时间和精力，因为它可以通过使用各种可用模型的试错法以及参数优化来节省时间和精力。我们提出了用于时间序列预测的 AutoAI (AutoAI-TS)，它为用户提供了一个零配置 (zero-conf) 系统，以便在给定数据集的各类模型中高效地训练、优化和选择最佳预测模型。其灵活的零配置设计，AutoAI-TS 自动为用户执行所有的数据准备、模型创建、参数优化、训练和模型选择，并提供一个可以使用的训练模型。对于给定的数据，AutoAI-TS 利用各种模型，包括经典统计模型、机器学习 (ML) 模型、统计-ML 混合模型和深度学习模型以及各种转换以创建预测管道。然后使用建议的 T-Daub 机制对管道进行评估和排名，以选择最佳管道。本文详细描述了 AutoAI-TS 的所有技术方面，以及针对各种用例的各种真实世界数据集的广泛基准测试。基准测试结果s 表明 AutoAI-TS 无需用户手动配置，自动训练和选择平均优于现有最先进时间序列预测工具包的管道。 | code1 |