时间序列分析（TSA）

问题分类

1. 根据数据格式

• 离散值序列
• 连续值序列

2. 根据采样频率

• 均匀采样、等间隔采样
• 不均匀采样

3. 根据变量数目

• 单变量时间序列 UTS
• 多变量时间序列 MTS

4. 根据问题类型

• 分类（TSC）、模式识别
• 预测（TSF）
• 动态重建、仿真
• 异常检测

应用领域

• 金融数据预测 financial data forecasting
• 动态非线性系统建模 modeling of dynamic nonlinear systems
• 天气预测 weather forecasting
• 复杂系统状态预测 complex system states prediction
• 异常检测 outlier detection, anomaly detection
• 地震预测 earthquake prediction
• 行为识别 action recognition

数据集

1. MIMIC-III
2. STOCKINDEX
3. Monthly Sunspots
4. UK_Economic
5. Certificate of Entitlement Price

博文

• AAAI 2020 | 华为：短小时序，如何预测？——基于特征重构的张量ARIMA
• ARIMA/Sarima与LSTM的时间序列数据集成学习（附链接）
• 只需一行代码！Python中9大时间序列预测模型
• 使用希尔伯特-黄变换（HHT）进行时间序列分析
• 时间序列预测必备背景知识（Part1）
• 时间序列预测模型-ARIMA原理及Python实现！
• 深度学习时序预测论文/代码/数据集/实验资源列表

论文

1. Time-series extreme event forecasting with neural networks at uber
   方法：LSTM
   发表：International Conference on Machine Learning, 34, page 1–5. (2017)

2. Deep and Confident Prediction for Time Series at Uber
   方法：LSTM + Auto-Encoder
   发表：2017 IEEE International Conference on Data Mining Workshops (ICDMW)

3. Conditional Time Series Forecasting with Convolutional Neural Networks
   方法：CNN
   发表：Journal of Computational Finance · March 2017
   特色：教科书式的详细解释

4. Time Series Prediction by Chaotic Modeling of Nonlinear Dynamical Systems
   方法：Kernel regression
   发表：Computer Vision, 2009 IEEE 12th International Conference on. IEEE, 2009.
   特色：通过重建混沌吸引子来对动态行为建模

5. Long-term Forecasting using Tensor-Train RNNs
   方法：TT-RNN
   发表：arxiv，2018

6. DeepAR_Probabilistic Forecasting with Autoregressive Recurrent Networks
   方法：RNN, encoder-decoder
   发表：International Journal of Forecasting · April 2017
   特色：预测分布，多变量

7. Some Recent Advances in Forecasting and Control
   方法： ARMA , Linear Dynamic Model
   发表：Journal of the Royal Statistical Society. Series C (Applied Statistics), Vol. 17, No. 2(1968), pp. 91-109
   特色：老方法

8. TIME SERIES PREDICTION WITH SIMPLE RECURRENT NEURAL NETWORKS
   方法：Elman Recurrent， Jordan Recurrent，(Elman-Jordan) Muti-Recurrent
   数据：Airline Passengers，S&P 500，Mackey Glass
   发表：Bayero Journal of Pure and Applied Sciences, 9(1): 19 - 24, May, 2016, ISSN 2006 – 6996
   特色：灌水文章，排版垃圾

9. Long-Term Time Series Prediction with the NARX Network: An Empirical Evaluation
   方法：NARX network
   数据：chaotic laser time series， variable bit rate (VBR) video traffic time series
   发表：Neurocomputing, 2008, 71(16-18):3335-3343
   特色：动态重建问题，对比了 TDNN，Elman Network，两层隐层，用到了时滞坐标

10. The analysis of observed chaotic data in physical systems
    方法：
    发表：Reviews of Modern Physics, Volume 65, Issue 4, October 1993, pp.1331-1392

11. Multivariate Time Series Prediction Based on Optimized Temporal Convolutional Networks with Stacked Auto-encoders
    方法：Temporal Convolutional Networks，Stacked Auto-encoders
    发表：ACML 2019
    特色：使用 TCN 对多变量时间序列建模，再次之前先用 SAE 无监督训练提取特征，使用 Bayesian Optimization 对模型的超参数进行选取

12. WAVENET: A GENERATIVE MODEL FOR RAW AUDIO
    方法：dilated causal convolutions，skip connection， GATED ACTIVATION UNITS
    发表：arXiv
    特色：DeepMind 出品，语音生成

13. Learning a Mahalanobis Distance-Based Dynamic Time Warping Measure for Multivariate Time Series Classification
    方法：基于马氏距离的动态时间调整，度量学习
    发表：IEEE TRANSACTIONS ON CYBERNETICS, VOL. 46, NO. 6, JUNE 2016
    特色：多元时间序列，分类，用对数行列式（LogDet）散度进行度量学习

14. Outlier Detection for Temporal Data：A Survey
    方法： 综述
    发表：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 9, SEPTEMBER 2014
    特色：综述了包含时间序列在内的时序数据异常检测问题，时间序列中的异常检测问题分为异常的序列和序列中的异常两大块

15. Anomaly Detection for Discrete Sequences：A Survey
    方法：综述
    发表：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 24, NO. 5, MAY 2012
    特色：离散时间序列的异常检测，将问题归为三类：数据集中异常序列的检测、长序列中的异常子序列检测、异常频率模式的检测

16. Time Series Classification Using Support Vector Machine with Gaussian Elastic Metric Kernel
    方法：支持向量机 + 高斯弹性度量核
    发表：20th International Conference on Pattern Recognition. IEEE, 2010.
    特色：时间序列分类，在高斯径向基函数核的 svm 上做改进，将 RBF 核函数换成弹性度量核

17. Fluctuation Similarity Modeling for Traffic Flow Time Series: A Clustering Approach
    方法：average detrending + PCA + k-means
    发表：2015 IEEE 18th International Conference on Intelligent Transportation Systems
    特色：交通流时间序列，使用聚类的方法对不同节点（区域）的交通流序列波动的相似性建模

18. Landsat Time Series Clustering under Modified Dynamic Time Warping
    方法：Canberra Distance-Dynamic Time Warping，k-means
    发表：2016 Fourth International Workshop on Earth Observation and Remote Sensing Applications
    特色：灌水论文，题材有点意思：遥感图像像素点分（聚）类问题，为了标记地面的物体属于植被、建筑还是水域等等之类。区别于单张图像的分割问题，论文中的方法使用不同季节的多张遥感图像，因而每个点是一个时间序列，而且通过光谱分解成多变量时间序列，对这些时间序列用CD-DTW计算距离，再用kmeans聚类，实现图像分割

19. Time series forecasting using improved ARIMA
    方法：垃圾
    发表：2016 Artificial Intelligence and Robotics (IRANOPEN)
    特色：狗屁不通，学术垃圾，浪费生命

20. A Survey on Stock Market Prediction
    方法：综述
    发表：5th IEEE International Conference on Parallel, Distributed and Grid Computing(PDGC-2018), 20-22 Dec, 2018, Solan, India
    特色：平平淡淡，总结了十来篇预测股票市场的文章中的方法和结果

21. Comparison of Strategies for Multi-step-ahead Prediction of Time Series using Neural Network
    方法：ANN
    发表：2015 International Conference on Advanced Computing and Applications
    特色：语言表达较好，介绍了多步预测的五种策略：recursive，direct，DirREC，MIMO，DirMO，在三个数据集上验证后得出结论 DirREC 效果较好

22. Review on Various Models for Time Series Forecasting
    方法：综述
    发表：Proceedings of the International Conference on Inventive Computing and Informatics (ICICI 2017)
    特色：综述了与自回归模型相关的若干方法：
    Autoregression (AR)，
    Moving Average (MA)，
    Autoregression Moving Average (ARMA)，
    Autoregressive Integrated Moving Average Model (ARIMA)，
    Autoregressive Conditional Heteroscedasticity model (ARCH)，
    Generalized Autoregressive Conditional Heteroscedasticity model (GARCH)，
    Dynamic Autoregression (DAR)，
    Vector Autoregression (VAR)，
    Holt-Winters Exponential Smoothing

23. Online Nonstationary Time Series Prediction using Sparse Coding with Dictionary Update
    方法：basis pursuit denoising formulation (BPDN)
    发表：2015 International Conference on Information and Communication Technology Research (ICTRC2015)
    特色：保留历史序列，将新的窗口和历史的窗口比较，将 k 近邻的历史窗口作为基底，求得新窗口的稀疏编码，即 Sparse Neighbor Embedding，加权求和得出预测值。用定长队列来保存历史来控制空间消耗。与文献4的方法类似

24. Temperature Time Series: Pattern Analysis and Forecasting
    方法：经验模态分解、希尔伯特黄变换、ANN
    发表：2017 4th Experiment@ International Conference (exp.at’17), June 6–8th, 2017, University of Algarve, Faro, Portugal
    特色：使用经验模态分解、希尔伯特黄变换来分析信号，使用简单神经网络来预测，虽然没太看懂，但还是挺水的论文

25. Statistical and Machine Learning forecasting methods: Concerns and ways forward
    方法：综述
    发表：Plos One, 13(3):e0194889-. [2018]
    特色：作者对用机器学习算法做时间序列预测的有效性提出质疑。在 M3 Competition 时间序列数据集上实验，测试了流行的机器学习算法和8种传统统计方法，比较了它们在长、短时预测问题上的准确率（误差）和计算代价。结果显示，机器学习算法不仅预测效果不如传统方法，还需要更多的计算开销。文中讨论的机器学习算法有：多层感知机 (MLP)，贝叶斯神经网络 (BNN)， 径向基函数 (RBF)，核回归，K近邻，CART 回归树， 支持向量回归 (SVR)，高斯过程 (GP)， 循环神经网络（RNN），长短时记忆网络（LSTM）。此外比较的统计方法有：Naive method: seasonal Random Walk (Naive), Simple Exponatial Smoothing (SES), Holt exponential smoothing (Holt), Damped exponential smoothing (Damped), combination (average) of the three exponential smoothing methods: SES, Holt and Damped (Comb), Theta method, 自动模型选择的 ARIMA 和 exponential smoothing (ETS)。结果如下：
    
    文章的结论是，当前的许多基于机器学习的预测方法缺少和基准模型比对，夸大的方法的可用性。

26. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
    方法：时域卷积网络 temporal convolutional network (TCN)
    代码：https://github.com/locuslab/TCN
    发表：arXiv:1803.01271v2 [cs.LG] 19 Apr 2018
    特色：将时序卷积网络与多种RNN结构相对比，发现在多种任务上TCN都能达到甚至超过RNN模型。TCN相比于wavenet，去掉了门机制，加入了残差结构。TCN 优点：（1）并行性。当给定一个句子时，TCN可以将句子并行的处理，而不需要像RNN那样顺序的处理。（2）灵活的感受野。TCN的感受野的大小受层数、卷积核大小、扩张系数等决定。可以根据不同的任务不同的特性灵活定制。（3）稳定的梯度。RNN经常存在梯度消失和梯度爆炸的问题，TCN不太存在梯度消失和爆炸问题。（4）内存更低。RNN在使用时需要将每步的信息都保存下来，这会占据大量的内存，TCN在一层里面卷积核是共享的，内存使用更低。缺点：（1）TCN 在迁移学习方面可能没有那么强的适应能力。将一个模型从一个对记忆信息需求量少的问题迁移到一个需要更长记忆的问题上时，TCN 可能会表现得很差，因为其感受野不够大。（2）论文中描述的TCN还是一种单向的结构，在语音识别和语音合成等任务上，纯单向的结构还是相当有用的。但是在文本中大多使用双向的结构，当然将TCN也很容易扩展成双向的结构，不使用因果卷积，使用传统的卷积结构即可。（3）TCN毕竟是卷积神经网络的变种，虽然使用扩展卷积可以扩大感受野，但是仍然受到限制，相比于 Transformer 那种可以任意长度的相关信息都可以抓取到的特性还是差了点。

27. For2For_Learning to forecast from forecasts
    方法：ensamble
    发表：arXiv:2001.04601v1 [stat.ML] 14 Jan 2020
    特色：以别的模型的预测值为输入，用 CNN 或者 RNN 来输出结果，在 M4 Competition 数据集上测试，季度数据的预测准确率取得第一。

28. TRELLIS NETWORKS FOR SEQUENCE MODELING
    方法：TrellisNet
    发表：ICLR 2019
    特色：序列建模的新结构，在时域卷积网络（TCN）上的改进，证明了 truncated recurrent networks 和新结构等价，在基准数据集上取得了不错的成绩，主要包括单词语言模型、字符语言模型、长时记忆的压力测试等基准。

29. Phoneme Recognition Using Time-Delay Neural Networks
    方法：TDNN
    发表：IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. 31. NO. 3. MARCH 1989
    特色：时延神经网络TDNN，是CNN的鼻祖，用于语音识别中的因素识别，取得了比HMM更好的效果。

30. Multivariate Time Series Prediction based on Multiple Kernel Extreme Learning Machine
    方法：kernel ELM
    发表：2014 International Joint Conference on Neural Networks (IJCNN)
    July 6-11, 2014, Beijing, China
    特色：隐层节点函数为核函数的极限学习机，也可看做 RBF 神经网络的随机化版本

31. AR-Net: A SIMPLE AUTO-REGRESSIVE NEURAL NETWORK FOR TIME-SERIES
    方法：classic AR， AR+NN without hiddon layer
    发表：arXiv:1911.12436v1
    特色：没有隐层的神经网络，就是一个线性变换嘛，AR 本质上也就是最小二乘法。这篇文章探讨的是最小二乘法和随机梯度下降法的差别，SGD 可以设计损失函数使得权重具有稀疏性，随意神经网络牛逼，深度学习牛逼！

32. 径向基函数神经网络的一种有效的在线学习方法
    方法：径向基函数神经网络
    发表：电子与信息学报，第23卷第5期，2001年5月
    特色：在线增加和减少径向基函数的隐层节点，讲得很清晰！

33. Forecasting Seasonal Time Series with Functional Link Artificial Neural Network
    方法：函数连接神经网络
    发表：2015 2nd International Conference on Signal Processing and Integrated Networks (SPIN)
    特色：函数连接神经网络

34. Hydrological time series forecast model based on wavelet de-noising and ARIMA-LSTM
    方法：小波变换 + ARMA + LSTM
    发表：2019 IEEE 3rd Information Technology,Networking,Electronic and Automation Control Conference (ITNEC 2019)
    特色：用小波变换把信号分成线性部分和非线性部分，ARIMA预测线性部分，LSTM预测非线性残差，两者相加得到结果。

待阅

Prediction on Housing Price Based on Deep Learning
Time series forecasting by recurrent product unit neural networks
Conditional Time Series Forecasting with Convolutional Neural Networks
Urban Water Flow and Water Level Prediction based on Deep Learning
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
Deep Learning Forecasting with Dilated Causal Convolutional Neural Networks on the CIF2016 Dataset
Forecasting short-term data center network traffic load with convolutional neural networks
Dilated Convolutional Neural Networks for Time Series Forecasting
Research and application of local perceptron neural network in high way rectifier for time series forecasting

Short-term traffic flow forecasting with spatial-temporal correlation in a hybrid deep learning framework
Learning to Monitor Machine Health with Convolutional Bi-Directional LSTM Networks
Load Forecasting via Deep Neural Networks
Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks
Spatiotemporal Recurrent Convolutional Networks for Traffic Prediction in Transportation Networks
Diffusion Convolutional Recurrent Neural Network-Data-Driven Traffic Forecasting