时间序列常见模型介绍与实战（SPSS）

时间序列预备知识

那么什么是时间序列呢，数学上是这么定义的：

  设 $T$ 是离散的时间集，$\forall t\in T,X(t)$ 是一随机变量，称$X(t),t\in T$ 为时间序列。

简单来讲，时间序列就是按照时间次序观察到的数据序列，是不是很通俗易懂，哈哈哈。

---

$X(t),t\in T$ 时间序列的分布 ，
既然我们假定 $T$ 是离散的数据集，那它必然有分布函数啦,

• 一维分布：$F_t(x)=P(X(t)\le x)$
• 二维分布：$F_{t,s}(x,y)=P(X(t)\le x,X(s)\le y)$
• $n$ 维分布：$F_{t_1\cdots t_n}(x_1,\cdots ,x_n)=P(X(t_1)\le x_1,\cdots ,X(t_n)\le x_n)$

既然可以有多维随机变量，那我们称有限维分布函数为时间序列的有限维分布函数族，即：
$$\bigcup _{n=1}^{\infty }{F}_{t_1\cdots t_n}(x_1,\cdots ,x_n),t_1,\cdots ,t_n\in T$$

并且有限维分布为正态分布的时间序列也为正态序列。

当然啦，要是数据集是连续的呢？这个好办，处理数据的时候离散化就好了。

---

时间序列他是有数据集的，那必然有均值和方差。
我们先记 ${\mu }_t$ 为时间序列 $X(t)$ 的均值函数，$r(s,t)=Cov(X(s),X(t))$ 为时间序列 $X(t)$ 的自协方差函数，特别地，当 $s=t$ 时，称 ${\sigma }_t^2=r(t,t)$ 为时间序列 $X(t)$ 的方差函数。

说到自协方差函数，那会不会有互协方差函数呢？ 答案是有的~~~
在实际问题中，经常要把多个时间序列放在一起考量，设 $$\begin{gathered} X(s),s\in T \\ , \\ Y(t),t\in T^{\ast } \end{gathered}$$ 为两个时间序列，则有互协方差函数为 $r^{\ast }(s,t)=Cov(X(s),Y(t))$ ，特别地当 $r^{\ast }(s,t)=0$ ，说明 $X(s)$和$Y(t)$ 这两个序列是不相关的。注意，这并不能说明他俩独立。

上面的描述了时间序列的数字特征，他们能反应时间序列中变量的某种关系的特征。

整理一下~~~
设时间序列为 $X(t),t\in T$ ，有
$$\begin{array}{rl}& {\mu }_t=0\\ & r(s,t)=\{\begin{array}{ll}{\sigma }^2,s=t& \\ & ,t、s\in T\\ 0,s\ne t& \end{array}\end{array}$$

我们将这个序列为白噪声序列。记 $X(t)\sim N(0,{\sigma }^2)$。

白噪声序列的定义：零均值同方差且两两不相关的序列。

---

关于时间序列的平稳性，有两种定义，宽平稳和严平稳。
下面给出两种平稳性的定义：

• 设时间序列为 $X(t),t\in T$ ，若 $\forall m,s\in T，t_1<t_2<\cdots <t_m;t_1+s,t_2+s,\cdots <t_m+s\in T$ ，对应的 $X_{t_1},X_{t_2},\cdots ,X_{t_m}$ 与 $X_{t_1+s},X_{t_2+s},\cdots ,X_{t_m+s}$ 的联合分布相同，则称 ${X}_t$ 是严平稳的时间序列。
• 设时间序列为 $X(t),t\in T$ ，如果 $X_t$ 的二阶矩存在，且 $E(X_t)=C(常数),r(s,t)=r(t-s,0),s,t\in T$ ，则称 ${X}_t$ 是宽平稳的时间序列。注：$t-s$ 为时间间隔。

简单来讲，严平稳要求随时间取值规律性保持不变，而宽平稳要求随时间平移一些数字特征保持不变，即与时间无关。

通常来说，不相关平稳序列通过线性运算得到的时间序列能保持平稳性，现在我们引进延迟算子的概念，延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻。
用 $B$ 表示一个延迟算子，定义：
$$\begin{array}{r}\{\begin{array}{l}{B}^0{X}_t=X_t\\ B^1{X}_t=X_{t-1}\\ ⋮\\ B^d{X}_t=X_{t-d}\end{array}\end{array}$$

一般有 $Bg(t)=g(t-1)$
设 $g(t)=a_0+a_{1}t+\cdots +a_k{t}^p$ ，则有
$$g(B)=a_0+a_{1}B+\cdots +a_k{B}^p$$
我们称 $g(B)$ 为延迟算子多项式，推广到级数，就有
$$\sum _{i=0}^k{a}_i{X}_{t-i}=\sum _{i=0}^k{a}_i{B}^i{X}_t=g(B)X_t$$

在拿到观测值序列时，分析的第一步都是要通过有效的手段提取序列中蕴涵的确定性信息， $Cramer$ 分解定理在理论上保证了适当阶数差分一定可以充分提取确定性信息。

于是我们就引进了差分运算这个概念。
用 $B$ 表示一个一步延迟算子，称 $\Delta =1-B$ 为差分算子。
现在假设有 $n$ 次多项式 $g(t)$ ，则 $\Delta g(t)=(1-B)g(t)=g(t)-g(t-1)$ 也是 $t$ 的多项式，他的次数为 $t-1$ ，也就是说，每差分一次，多项式的次数会降低一阶。

好了，现在我们已经把时间序列的预备知识铺垫完了，下面将介绍常见的几种模型_{^_^}

---

时间序列模型介绍

自回归模型

自回归模型 ( $Auto$ $Regressive$ $Model$ ) ，简称 $AR$ 模型，是统计上一种处理时间序列的方法，用来描述当前值与历史值之间的关系，用变量自身的历史时间数据对自身进行预测，自回归模型必须满足平稳性的要求。

设时间序列 ${X}_t$ 适合 $X_t=a_0+a_1{X}_{t-1}+\cdots +a_p{X}_{t-p}+{\epsilon }_t$ ，其中 ${\epsilon }_t$ 为白噪声序列，$a_i,i=1,2,\cdots ,p$ 为实常数，并且 $\forall s<t$ 有 $E(X_s{\epsilon }_t)=0$ ，我们称此模型为 $p$ 阶自回归模型，记为 $AR(p)$ 模型。

令 $\alpha (u)=1-a_{1}u-a_2{u}^2-\cdots -a_p{u}^p$ ，
可将模型简化为 $\alpha (B)X_t={\epsilon }_t$ 。

将 $AR$ 模型中心化，即让 $E(X_t)=0$ ,也就是让 $a_0=0$ 。
我们先来看看 $AR(1)$ 模型的解， 对应的序列为 $X_t=a{X}_{t-1}+{\epsilon }_t$ ，则
$$\begin{array}{rl}& X_t-a{X}_{t-1}={\epsilon }_t\\ ⟹& (1-aB)X_t={\epsilon }_t\\ ⟹& X_t=\frac{1}{1-aB}{\epsilon }_t=\sum _{j=0}^{\infty }(aB{)}^j{\epsilon }_t=\sum _{j=0}^{\infty }{a}^j{\epsilon }_{t-j}\end{array}$$
也就是说 $X_t={\sum }_{j=0}^{\infty }{a}^j{\epsilon }_{t-j}$ 为模型 $AR(1)$ 的解。

类似求得 $AR(p)$ 的解为
$$X_t=\frac{1}{\alpha (B)}{\epsilon }_t=\sum _{j=0}^{\infty }{\psi }_j{B}^j{\epsilon }_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}$$
其中 ${\psi }_0=1,{\psi }_1=a_1,{\psi }_j=a_1{\psi }_{j-1}+a_2+{\psi }_{j-2},j\ge 2$ 。

不加以证明的给出自协方差函数:
$$\begin{array}{rl}& 自协方差函数\{\begin{array}{l}{r}_0=\frac{(1-a_2){\sigma }^2}{1-a_1^2-a_1{a}_2-a_2-a_2^2+a_2^3}\\ r_1=\frac{a_1{\sigma }^2}{1-a_1^2-a_1{a}_2-a_2-a_2^2+a_2^3}\\ r_k=a_1{r}_{k-1}+a_2{r}_{k-2},k\ge 1\end{array}\end{array}$$

移动平均模型

移动平均模型( $Moving$ $Average$ $Model$ )，简称 $MA$ 模型，他是一种简单平滑预测技术，它的基本思想是：根据时间序列资料、逐项推移，依次计算包含一定项数的序时平均值，以反映长期趋势的方法。

设时间序列 ${X}_t$ 适合 $X_t={\epsilon }_t-b_1{\epsilon }_{t-1}-\cdots -b_q{\epsilon }_{t-q}$ ，其中 ${\epsilon }_t$ 为白噪声序列， $b_i,i=1,2,\cdots ,q$ 为实常数，我们称此模型为 $q$ 阶移动平均模型，记为 $MA(q)$ 模型。

令 $\beta (u)=1-b_{1}u-b_2{u}^2-\cdots -b_q{u}^q$ ，
可将模型简化为 $X_t=\beta (B){\epsilon }_t$ 。
该模型已经是解的形式了。
$$\begin{array}{r}自协方差函数r_k=\{\begin{array}{ll}{\sigma }^2(1+{\sum }_{j=1}^q{b}_j^2)& ,k=0\\ {\sigma }^2(-b_k+{\sum }_{j=1}^{q-k}{b}_j{b}_{j+k})& ,1\le k\le q\\ 0& ,k>q\end{array}\end{array}$$

自回归移动平均模型

自回归移动平均模型( $Auto$ $Regressive$ $Moving$ $Average$ $Model$ )，简称 $ARMA模型$ 。他的基本思想是把 $AR$ 和 $MA$ 模型结合在一起，使所使用的参数个数保持很小。
设时间序列 ${X}_t$ 适合 $X_t-a_1{X}_{t-1}-\cdots -a_p{X}_{t-p}={\epsilon }_t-b_1{\epsilon }_{t-1}-\cdots -b_q{\epsilon }_{t-q}$ ， ${\epsilon }_t$ 为白噪声序列， $\forall s<t,$ 有 $E(X_s{\epsilon }_t)=0$ ，我们称此模型为自回归移动平均模型，记为 $ARMA(p,q)$ 模型。
模型可以简化为 $\alpha (B)X_t=\beta (B){\epsilon }_t$ 。
$$\begin{array}{rl}& 自协方差函数\sum _{j=0}^p\sum _{i=0}^p{a}_j{a}_i{r}_{k-i+j}=\{\begin{array}{ll}{\sigma }^2(1+{\sum }_{j=1}^q{b}_j^2)& ,k=0\\ {\sigma }^2(-b_k+{\sum }_{j=1}^{q-k}{b}_j{b}_{j+k})& ,1\le k\le q\\ 0& ,k>q\end{array}\end{array}$$

差分自回归移动平均模型

前面 $AR(p)$、$MA(q)$ 和 $ARMA(p,q)$ 都是平稳的随机过程，对于非平稳的时间序列，首先应将其平稳化。其中，差分变换是最常用的平稳化方法。然后再使用 $AR(p)$、$MA(q)$ 或 $ARMA(p,q)$ 来模拟已平稳化的随机过程。这就是所谓的差分自回归移动平均模型($Autoregressive$ $Integrated$ $Moving$ $Average$ $Model$)。

设时间序列 ${X}_t$ 适合 $(1-B{)}^d{X}_t=W_t$ ，其中 $W_t$ 是平稳的 $ARMA$ 序列，我们称此模型为差分自回归移动平均模型，记为 $ARIMA(p,d,q)$ 模型，其中 $d$ 是实施差分变换的次数。

我们定义了一阶差分算子为 $(1-B)$ ，即有 $(1-B)X_t=X_t-X_{t-1}$ ，表示每一期比前一期增减的数量，也叫作逐期增长量。

实质上我们对 $ARIMA(p,d,q)$ 序列差分后得到的是 $ARMA(p,q)$ 序列。
当 $d=1$ 时，$(1-\beta )X_t=W_t$ ，即 $X_t-X_{t-1}=W_t$ ，
于是 $X_t=X_{t-1}+W_t=X_{t-2}+W_{t-1}+W_t=\cdots =X_0+{\sum }_{i=1}^t{W}_i$ 。
如果说 $X_0=0$ ，那么 $X_t={\sum }_{i=1}^t{W}_i$ 就表示了求和的含义。

可以证明求和序列是非平稳序列。(证明)

由此可见，$ARIMA(p,d,q)$ 是一种比 $ARMA(p,q)$ 更为普遍性的模型。

季节模型

设时间序列 ${X}_t$ 适合 $\Phi (B^T)(1-B^T{)}^d{X}_t=\theta (B^T)W_t$ ，其中 $\Phi (u),\theta (u)$ 分别为 $p$ 阶和 $q$ 阶的多项式 ， $W_t$ 为 $ARIMA(p,d,q)$ 序列，$T$ 为 ${X}_t$ 的周期，称该模型为季节模型，如果说时间序列受到季节性变动影响可以考虑该模型。注：季节性序列也是非平稳的序列。

加法模型和乘法模型

时间序列各项指标数值的不同，是由许多因素共同作用的结果，影响因素归结起来有四类：

1. 长期趋势 $(T)$ ：指现象在一段较长的时间内指标数值持续的沿着一个方向，逐渐向上或向下变动或保持平稳的趋势。
2. 季节变动 $(S)$ ：指现象受季节性因素影响而发生的变动。其变动特点是，在一年或更短的时间内使现象呈周期性重复的变化。
3. 循环变动 $(C)$ ：指现象发生周期比较长的涨落起伏的变动。通常周期少则三年，多则五年以上。
4. 不规则变动 $(R)$ ：指除了受以上各种变动的影响之外，还受偶然因素或不明原因而引起的变动。其变化无规则可循。

加法模型：
$$X_t=T_t+S_t+C_t+R_t$$
其中 $T$ 取非负值，$S,C$ 取值可正可负，要求 $\overline{S}=0,\overline{C}=0$ 。

乘法模型：
$$X_t=T_t\times S_t\times C_t\times R_t$$
其中 $T,S,C$ 均取非负值，要求 $\overline{S}=1,\overline{C}=1$ 。

数据集

通过 Spss 建模分析

第一步： 绘啤酒产量#10（万千升）制序列图

时间序列图

从时间序列图可以看出，原序列是有明显上升趋势，是非平稳的序列，需要差分处理，一阶差分后的图像如下

一阶差分后时间序列图

可见差分后的时间序列近似平稳。

第二步： 计算自相关函数和偏相关函数并画图

一阶差分序列自相关函数图像

一阶差分序列偏相关函数图像

根据自相关函数和偏相关函数图，可以选择 AR(7) 模型，具体如何选取模型看这篇

得到模型表达式:
$$X_t=-5611.846-0.478X_{t-1}-0.544X_{t-2}-0.330X_{t-3}-0.244X_{t-4}-0.839X_{t-5}-0.524X_{t-6}-0.247X_{t-7}+{\epsilon }_t$$

时间序列模型（ARIMA和ARMA）完整步骤详述

参考资料
孙祝岭.时间序列与多元统计分析[M] 上海：上海交通大学出版社,2016.