【时间序列分析基础系列之一】随机性时间序列模型

---

前言

1 随机性时间序列模型

时间序列分析方法是通过对样本观测值的观察分析，将时间序列的趋势项、周期项和随机项分解出来。
其中，对于趋势性或周期性变化，常用确定性时序分析，而对于余下的随机项，可用随机时序模型拟合，属于随机时序分析。确定和随机两部分组合起来共同描述一个时间序列。
随机性时间序列模型最早由G.E.P.Box和G.M.Jenkins提出。

1.1 基本概念

1.1.1 随机过程概念

设$T$是负无穷到正无穷的子集，如果$\forall t\in T$，都有一个随机变量与之对应，就称为随机变量的集合为随机过程。
当$T$是全体整数或全体非负整数时，称相应的随机过程为离散随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是离散时间序列。
当$T$是全体实数或全体非负实数时，称相应的随机过程为连续随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是连续时间序列。

1.1.2 几个重要的平稳随机过程

白噪声（纯随机过程）

设$a_t$为平稳序列，对于$\forall t\in N$，都有

$$E(a_t)=\mu$$
$$COV(a_t,a_s)=\{\begin{array}{r}{\sigma }_a^2,(t=s)\\ 0,t\ne s\end{array}$$

独立增量随机过程

对于$\forall n,t_i\in T(i=1,2,...,n;t_1<t_2<...<t_n)$，随机变量$X(t_2)-X(t_1),X(t_3)-X(t_2),...,X(t_n)-X(t_n-1)$都相互独立，则称随机过程$\{X_t\}=\{X_t:t\in T\}$为独立增量随机过程

二阶矩过程与宽平稳过程

对于$\forall t\in T，X_t$的均值和方差存在，则称此过程为二阶矩过程。
若随机过程$\{X_t,t\in T\}$是一个二阶矩过程，且满足：
$$\begin{gathered} E{X}_t=\mu ,\forall t\in T \\ E[X_{t+\tau }][X_t-\mu ]={\gamma }_{\tau },\forall t,t+\tau \in T \end{gathered}$$
则称$\{X_t,t\in T\}$为宽平稳随机过程。

注意：白噪声为宽平稳随机过程，平稳时间序列中讨论的都为宽平稳随机序列。

严平稳随机过程

对于$\forall t_i(i=1,2,...,n)$和任意实数$s$，随机过程$\{X_t\}$的$n$维分布函数满足关系式，即为严平稳随机过程：
$$F_n(X_1,X_2,...,X_n;t_1,t_2,...,t_n)=F_n(X_1,X_2,...,X_n;t_1+s,t_2+s,...,t_n+s)$$
二阶矩存在的严平稳随机过程一定是宽平稳随机过程，反之不成立。

正态过程

若$\{X_t,t\in T\}$的有限维分布都是正态分布，则称$\{X_t,t\in T\}$为正态随机过程。

1.1.3 动态性

动态性：系统现在的行为与其历史行为的相关性，也就是系统的记忆性，具体地，就是在某一时刻进入系统的输入对系统后续行为的影响，如果该输入只影响系统下一时刻的行为，而对下一时刻以后的行为不发生作用，那么系统就有一阶动态或一期记忆性。
那么以此类推，如果该输入对系统之后的$n$个时刻的行为都有影响，那么就说系统具有$n$阶动态性。例如，$n$阶自回归模型（$AR(n)$）为：
$$X_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+...+{\varphi }_n{X}_{t-n}+a_t$$
与$AR(n)$模型对比来看，$MA(m)$模型描述的是系统对过去时刻进入系统的噪声的记忆：
$$X_t=a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}-...-{\theta }_m{a}_{t-m}$$
综合来看，$ARMA(n,m)$描述的是系统对过去自身状态以及各时刻进入的噪声的记忆。
$$\begin{gathered} X_t-{\varphi }_1{X}_{t-1}-{\varphi }_2{X}_{t-2}-...-{\varphi }_n{X}_{t-n} \\ =a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}-...-{\theta }_m{a}_{t-m} \end{gathered}$$

2 算子

2.1 差分算子

以$AR(1)$模型为例：
$$X_t=X_{t-1}+a_t$$
即有下式，其中$\nabla$表示差分算子：
$$\nabla X_t=a_t$$
除此之外，我们称$Y_t=X_t-X_{t-1}$叫做关于$X_t$的一阶差分，记为：
$$Y_t=\nabla X_t$$
由此递归，则称$Z_t=Y_t-Y_{t-1}$叫做关于$Y_t$的一阶差分，也是关于$X_t$的二阶差分，记为：
$$Z_t=\nabla Y_t=X_t-X_{t-1}-X_{t-1}+X_{t-2}={\nabla }^2{X}_t$$
类似地，设$X_t$地第$k-1$次差分为$W_t$，则称$W_t-W_{t-1}$为$X_t$的$k$阶差分。

注意：k阶差分不是简单的$X_t - X_{t-k}$，而是叠加差分。

2.2 格林函数

同样以$AR(1)$模型为例：
$$X_t=X_{t-1}+a_t$$
对应的齐次差分方程的解为：
$$X_t=c{\phi }_1^t+a_t,t\in Z$$
由$AR(1)$右边的形式可知，模型的特解可能是$\{a_t\}$序列的线性组合：

$$\begin{array}{rl}{X}_t& ={\phi }_1{X}_{t-1}+a_t\\ & ={\phi }_1({\phi }_2{X}_{t-2}+a_{t-1})+a_t\\ & ={\phi }_1^2{X}_{t-2}+{\phi }_1{a}_{t-1}+a_t\\ & ={\phi }_1^2(\phi X_{t-3}+a_{t-2})+{\phi }_1{a}_{t-1}+a_t\\ & ={\phi }^3{X}_{t-3}+{\phi }^2{a}_{t-2}+{\phi }_1{a}_{t-1}+a_t\\ & ...\\ & =\sum _{j=0}^{\infty }{\phi }_1^j{a}_{t-j}\end{array}$$
则$AR(1)$的通解为：
$$X_t=\sum _{j=0}^{\infty }{\phi }_1^j{a}_{t-j}+c{\phi }_1^t$$
而其中系数函数${\phi }_1^j$客观地描述了该系数地动态性，故称此系数为格林函数，用$G_j$表示：
$$G_j={\phi }_1^j$$
$AR(1)$的特解也可以改写为：
$$X_t=\sum _{j=0}^{\infty }{G}_1^j{a}_{t-j}$$

2.3 后移算子

后移算子$B$表示后移的期数，如：$$B^j{X}_t=X_{t-j}$$
具有如下性质：

• 对和$t$无关的随机变量$Y$有：$$BY=Y$$
• 对整数$n$，常数$a$有：$$B^n(a{X}_t)=a{B}^n{X}_t=a{X}_{t-n}$$
• 对整数$n,m$有：$$B^{n+m}(X_t)=B^n{B}^m{X}_t=X_{t-n-m}$$
• 对多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$，有：$$\psi (B)X_t=\sum _{j=0}^p{c}_j{X}_{t-j}$$
• 对多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$和$\phi (z)={\sum }_{j=0}^q{d}_j{z}^j$的乘积$f(z)=\psi (z)\phi (z)$，有：
  $$f(B)X_t=\psi (B)[\phi (B)X_t]=\phi (B)[\psi (B)X_t]$$
• 对时间序列$X_t,Y_t$而言，多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$和随机变量U，V，W，有：$$\psi (B)(U{X}_t+V{Y}_t+W)=U\psi (B)X_t+V\psi (B)Y_t+W\psi (1)$$

3 分解

3.1 Wold分解

回顾$AR(1)$模型的特解为下式，下式也被成为Wold分解式，$G_j$也叫Wold系数：
$$X_t=\sum _{j=0}^{\infty }=G_j{a}_{t-j}$$
由于$a_{t-j}$为相互独立的（模型假设），所以可以看作线性空间的基，$X_t$可由$a_{t-j}$进行线性表示。其系数$G_j$是$X_t$对于$a_{t-j}$的坐标投影，$X_t$是$G_j{a}_{t-j}$的正交向量和。
也就是说，用线性空间来审视上式，即为wold分解。

4 参数估计

4.1 直接估计法

常用的参数估计方法：

4.1.1 矩估计

4.1.2 极大似然估计

4.1.3 条件最小二乘估计

条件最小二乘估计是实际中最常用的参数估计方法，假设条件为：
$$a_{t-1}=a_{t-2}=...=a_{t-q}=0$$
残差平方和方程为：
$$Q(\hat{\beta })=\sum _{t=p+1}^n{a}_t^2=\sum _{t=p+1}^n[X_t-\sum _{i=1}^p{\phi }_i{X}_{t-i}+\sum _{j=1}^q{\theta }_j{a}_{t-j}{]}^2$$
解法：迭代法
优缺点：

• OLS估计充分应用每一个观察值提供的信息，因而估计精度高
• 条件OLS估计使用率较高
• 但是需要假定总体分布（缺点）

4.2 数值法

都是用迭代

4.2.1 线性迭代法

给出初始值，根据式子进行迭代计算，直至相邻两次迭代值相差不大时停止迭代，最后迭代结果作为近似解

4.2.2 牛顿-拉普森(Newton-Raphson)算法