常见时间序列模型

本文主要对各种时间序列模型及其特征做了一个归纳总结，以便查询了解。
符号说明：
变量： $x,y$
变量集：$X,Y$
变量$x$在$t$时刻的值：$x_t$
参数：$\alpha ,\beta$

自回归模型（Autoregressive model，AR）

自回归，顾名思义，就是用自己预测自己，即用同一变量$x$之前的信息$\{x_1,x_2,\dots ,x_{t-1}\}$来预测$x$当前时刻$x$的信息$x_t$，并假设他们是线性关系。

定义

$$\begin{gathered} X_t=\sum _{i=1}^p\phi X_{t-i}+{\epsilon }_t+c \\ =\sum _{i=1}^p\phi X_{t-i}+c \end{gathered}$$
其中，${\epsilon }_t$是均值为0，方差为${\sigma }^2$的随机误差值，假设$\sigma$对于任何的$t$都不变；$c$是常数项。

优缺点

优点：所需的数据或信息不多，只用自身来预测自身；
缺点：必须具有自相关性；只能适用于预测与自身前期相关的现象。

移动平均模型（Moving average model，MA）

移动平均模型也被称为移动平均过程，是一种常见的对单变量时间序列（univariate time series）建模的方法。它指出输出变量线性依赖于当前值和不同随机项的过去值。

定义

q阶移动平均模型通常简记为MA(q)：
$$\begin{gathered} X_t={\epsilon }_t+{\theta }_1{\epsilon }_{t-1}+\cdots +{\theta }_q{\epsilon }_{t-q}+\mu \\ ={\epsilon }_t+\sum _{j=1}^q{\theta }_j{\epsilon }_{t-j}+\mu \end{gathered}$$
其中，${\theta }_1,\dots ,{\theta }_q$是序列的参数，${\epsilon }_1,\dots ,{\epsilon }_{t-q}$是白噪声、随机误差项，$\mu$是序列的均值。
其也可以表示成：
$$X_t=(1+{\theta }_{1}B+\cdots +{\theta }_q{B}^q){\epsilon }_t+\mu$$

自回归滑动平均模型（Autoregressive moving average model，ARMA）

自回归滑动平均模型可以看成是由自回归模型和移动平均模型“混合”构成的弱平稳随机过程。
当系统是一系列未观察到的冲击（MA部分）以及它自己行为的函数时，使用ARMA是合适的。例如，股票价格可能会受到基本信息的冲击，以及由于市场参与者而表现出的技术趋势和均值回归效应。

定义

ARMA(p,q)表示$p$阶AR和$q$阶MA：
$$X_t=\sum _{i=1}^p\phi X_{t-i}+{\epsilon }_t+\sum _{j=1}^q{\theta }_j{\epsilon }_{t-j}+c$$

差分回归移动平均模型（Autoregressive integrated moving average，ARIMA）

在统计、经济学和时间序列分析中，ARIMA模型是ARMA模型的扩展，二者都是适用于时序数据更好地理解数据和预测序列中未来的点。ARIMA可以适用于数据非稳态的情况。

定义

ARIMA(p,d,q)中，AR是"自回归"，$p$为自回归项数；MA为"滑动平均"，$q$为滑动平均项数，$d$为使之成为平稳序列所做的差分次数（阶数）。其定义为：
$$\left(1-\sum _{i=1}^p{\varphi }_i{L}^i\right)(1-L{)}^d{X}_t=\left(1+\sum _{i=1}^q{\theta }_i{L}^i\right){\epsilon }_t$$
其中，$L$是时间滞后算子（lag operator），$d\in \mathcal{Z},d>0$。

矢量自回归模型（Vector autoregression，VAR）

矢量自回归模型是一个用于捕捉多元时间序列间的线性独立性的一种随机过程模型。与AR模型的区别就是其允许多于一个变量。

定义

矢量自回归模型描述了$k$个变量之间在相同的时间段内跟他们过去时刻的值的线性函数的演变。
一个$p$阶的VAR模型简写为VAR$(p)$，其定义为：
$$x_t=A_1{x}_{t-1}+A_2{x}_{t-2}+\cdots +A_p{x}_{t-p}+e_t+c$$
其中，A_{i}表示变量不同时间之间的影响强度，是$k\times k$的矩阵；$e_t$表示误差项，是$k\times 1$的矢量。$c$表示常数，是$k\times 1$的矢量。同时，误差项满足以下条件：
1.$E(e_t)=0$：每个误差项的均值都为0；
2.$E(e_t{e}_t^{\prime })={\sigma }^2$：同个时期的误差项协方差矩阵为${\sigma }^2$；
3.$E(e_t{e}_{t-k}^{\prime })=0$：每个误差项之间互相没有相关性。
一个$p$阶的VAR模型也称为含有滞后影响长度为$p$的VAR模型。

结构自回归模型（Structural VAR，SVAR）

一个含有滞后影响长度为$p$的SVAR模型可以定义为：
$$B_0{x}_t=B_1{x}_{t-1}+B_2{x}_{t-2}+\cdots +B_p{x}_{t-p}+e_t+c_0$$

AR和MA都是平稳的（stationary）。

参考资料：

1. Autoregressive model：https://en.wikipedia.org/wiki/Autoregressive_model[https://en.wikipedia.org/wiki/Autoregressive_model]
2. MA：https://en.wikipedia.org/wiki/Moving-average_model
3. ARMA：https://en.wikipedia.org/wiki/Autoregressive–moving-average_model
4. ARIMA：https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
5. VAR：https://en.wikipedia.org/wiki/Vector_autoregression