【时间序列分析】01. 时间序列·平稳序列

时间序列 · 平稳序列

时间序列的定义

时间序列是按照时间次序排列的随机变量序列。任何时间序列经过合理的函数变换后都可以被认为是由三个部分叠加而成的：趋势项部分、周期项部分和随机噪声项部分。
$$X_t=T_t+S_t+R_t,t=1,2,...$$
时间序列在适当的去掉趋势项和季节项后，剩下的随机部分通常会有某种平稳性。带有平稳性的时间序列是时间序列分析研究的重点。于是，引出平稳序列的相关概念和性质。

平稳序列的定义

对于独立时间序列 $\{X_t\}$ ，$(X_1,X_2,...,X_n)$ 和 $X_{n+1}$ 独立，从而不会含有任何关于 $X_{n+1}$ 的信息。平稳时间序列的历史记录 $X_1,X_2,...,X_n$ 中往往含有 $X_{n+1}$ 的信息，这就使得利用历史样本预测将来成为可能。

如果时间序列 $\{X_t\}$ 满足

(1) 对任何 $t\in \mathbb{N}$ ，$\mathrm{E}(X_t^2)<\infty$ ；

(2) 对任何 $t\in \mathbb{N}$ ，$\mathrm{E}(X_t)=\mu$ ；

(3) 对任何 $t,s\in \mathbb{N}$ ，$\mathrm{E}[(X_t-\mu )(X_s-\mu )]={\gamma }_{t-s}$

就称 $\{X_t\}$ 是平稳时间序列，称实数列 $\{{\gamma }_k\}$ 为 $\{X_t\}$ 的自协方差函数。

平稳序列中的随机变量 $X_t$ 的均值和方差都是与 $t$ 无关的常数。

对任何 $t,s\in \mathbb{Z}$ 和 $k\in \mathbb{Z}$ ，$(X_t,X_s)$ 和平移 $k$ 步后的 $(X_{t+k},X_{s+k})$ 有相同的协方差：
$$\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_s)=\mathrm{C}\mathrm{o}\mathrm{v}(X_{t+k},X_{s+k})={\gamma }_{t-s}$$
即平稳序列的任意两个随机变量的协方差只与时间差有关，称为协方差结构的平移不变性。

时间序列分析的重要特点之一是利用自协方差函数研究平稳序列的统计性质，因此需要对 $\{{\gamma }_k\}$ 的性质进行探讨。

自协方差函数满足以下三条基本性质：

(1) 对称性：${\gamma }_k={\gamma }_{-k}$ ，对所有 $k\in \mathbb{Z}$ 成立；

(2) 非负定性：对任何 $n\in {\mathbb{N}}_{+}$ ，$n$ 阶自协方差矩阵
$${\mathbf{\Gamma }}_n=({\gamma }_{k-j}{)}_{k,j=1}^n=\left[\begin{array}{cccc}{\gamma }_0& {\gamma }_1& \cdots & {\gamma }_{n-1}\\ {\gamma }_1& {\gamma }_0& \cdots & {\gamma }_{n-2}\\ ⋮& ⋮& & ⋮\\ {\gamma }_{n-1}& {\gamma }_{n-2}& \cdots & {\gamma }_0\end{array}\right]$$
是非负定矩阵；

(3) 有界性：$|{\gamma }_k|\le {\gamma }_0$ ，对所有 $k\in \mathbb{Z}$ 成立。

任何满足上述性质的实数列都被称为非负定序列。

平稳序列的自协方差函数是非负定序列，每个非负定序列都可以是一个平稳序列的自协方差函数。

性质 (1) 的证明：由定义直接得到。

性质 (2) 的证明：任取一个 $n$ 维实向量 ${\mathbf{a}}_n=(a_1,a_2,...,a_n{)}^{\mathrm{T}}$ ，
$$\begin{array}{rl}{\mathbf{a}}_n^{\mathrm{T}}{\mathbf{\Gamma }}_n{\mathbf{a}}_n& =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j{\gamma }_{i-j}\\ & =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j\mathrm{E}[(X_i-\mu )(X_i-\mu )]\\ & =\mathrm{E}\left(\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j(X_i-\mu )(X_i-\mu )\right)\\ & =\mathrm{E}{\left(\sum _{i=1}^n{a}_i(X_i-\mu )\right)}^2\\ & =\mathrm{V}\mathrm{a}\mathrm{r}\left(\sum _{i=1}^n{a}_i(X_i-\mu )\right)\ge 0.\end{array}$$
性质 (3) 的证明：需要利用柯西不等式。

首先对随机变量进行中心化，取 $Y_t=X_t-\mu$ ，以后常假设均值为 $0$ ，可以将方差和二阶矩等价联系起来。

由柯西不等式得：
$$|{\gamma }_k|=|\mathrm{E}(Y_{k+1}{Y}_1)|\le \sqrt{\mathrm{E}{Y}_{k+1}^2{Y}_1^2}={\gamma }_0.$$
由自协方差函数的概念可以等价得到自相关系数的概念，在此之前需要引入标准化序列的概念。

由于平稳序列经过线性变换后仍然是平稳序列，因此特别取
$$Y_t=\frac{X_t-\mu }{\sqrt{{\gamma }_0}},t\in \mathbb{Z}$$
就得到标准化的平稳序列 $\{Y_t\}$ ，这时有 $\mathrm{E}{Y}_t=0$ ，$\mathrm{E}{Y}_t^2=1$ 对每个 $t$ 成立。

设平稳序列 $\{X_t\}$ 的标准化序列是 $\{Y_t\}$ ，$\{Y_t\}$ 的自协方差函数
$${\rho }_k=\frac{{\gamma }_k}{{\gamma }_0},k\in \mathbb{Z}$$
称为平稳序列 $\{X_t\}$ 的自相关系数。

自相关系数 $\{{\rho }_k\}$ 满足规范性，即 ${\rho }_0=1$ 且 $|{\rho }_k|\le 1$ ，同样也满足对称性和非负定性。

随机变量的线性相关

定义随机向量 $\mathbf{X}=(X_1,X_2,...,X_n{)}^{\mathrm{T}}$ ，则 ${\mathbf{\Gamma }}_n=\mathrm{V}\mathrm{a}\mathrm{r}(\mathbf{X})$ 。

关于随机向量 $\mathbf{X}$ 和矩阵 $\mathbf{A},\mathbf{B}$ ，有
$$\mathrm{E}(\mathbf{A}+\mathbf{B}\mathbf{X})=\mathbf{A}+\mathbf{B}\mathrm{E}(\mathbf{X}),$$

$$\mathrm{V}\mathrm{a}\mathrm{r}(\mathbf{A}+\mathbf{B}\mathbf{X})=\mathbf{B}\mathrm{V}\mathrm{a}\mathrm{r}(\mathbf{X}){\mathbf{B}}^{\mathrm{T}},$$

且 $\mathbf{X}$ 的协方差阵 $\mathrm{V}\mathrm{a}\mathrm{r}(\mathbf{X})$ 总是非负定的。

我们已知自协方差矩阵 ${\mathbf{\Gamma }}_n$ 是非负定的，接下来讨论的 ${\mathbf{\Gamma }}_n$ 退化条件，即 ${\mathbf{\Gamma }}_n$ 的不满秩条件。

设向量 ${\mathbf{a}}_n=(a_1,a_2,...,a_n{)}^{\mathrm{T}}$ ，则
$${\mathbf{a}}_n^{\mathrm{T}}{\mathbf{\Gamma }}_n{\mathbf{a}}_n=\mathrm{V}\mathrm{a}\mathrm{r}({\mathbf{a}}_n^{\mathrm{T}}\mathbf{X})=\mathrm{V}\mathrm{a}\mathrm{r}\left(\sum _{i=1}^n{a}_i{X}_i\right)\ge 0$$
因此 ${\mathbf{\Gamma }}_n$ 退化当且仅当存在一个非零向量 ${\mathbf{a}}_n\ne 0$ 使得
$$\mathrm{V}\mathrm{a}\mathrm{r}({\mathbf{a}}_n^{\mathrm{T}}\mathbf{X})=\mathrm{V}\mathrm{a}\mathrm{r}\left(\sum _{i=1}^n{a}_i{X}_i\right)=0$$
这时称随机变量 $X_1,X_2,...,X_n$ 是线性相关的，即 $X_1,X_2,...,X_n$ 的非零线性组合 ${\mathbf{a}}_n^{\mathrm{T}}\mathbf{X}$ 是退化随机变量（常数）。

进一步有如果 $X_1,X_2,...,X_n$ 线性相关，则只要 $m\ge n$ ，有 $X_1,X_2,...,X_m$ 线性相关。

白噪声序列

白噪声是用来描述简单随机干扰的平稳序列，是最简单的平稳序列。

设 $\{{ϵ}_t\}$ 是一个平稳序列，如果对任何 $s,t\in \mathbb{N}$ ，
$$\mathrm{E}({ϵ}_t)=\mu ,\mathrm{C}\mathrm{o}\mathrm{v}({ϵ}_t,{ϵ}_s)=\{\begin{array}{ll}{\sigma }^2,& t=s,\\ 0,& t\ne s,\end{array}$$
就称 $\{{ϵ}_t\}$ 是一个白噪声，记作 $\mathrm{W}\mathrm{N}(\mu ,{\sigma }^2)$ 。

• 当 $\{{ϵ}_t\}$ 是独立序列时，称 $\{{ϵ}_t\}$ 是独立白噪声；
• 当 $\mu =0$ 时，称 $\{{ϵ}_t\}$ 是零均值白噪声；
• 当 $\mu =0$ 且 ${\sigma }^2=1$ 时，称 $\{{ϵ}_t\}$ 是标准白噪声；
• 当 ${ϵ}_t\sim \mathrm{N}(0,1)$ 时，称 $\{{ϵ}_t\}$ 是正态白噪声，易证正态白噪声也是一类独立白噪声。

正交平稳序列

首先引入随机变量的正交性和不相关性的概念。

设 $X$ 和 $Y$ 是方差有限的随机变量，如果 $\mathrm{E}(XY)=0$ ，就称 $X$ 和 $Y$ 是正交的。如果 $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$ ，就称 $X$ 和 $Y$ 是不相关的。

对于零均值的随机变量，正交性和不相关性等价。

下面给出平稳序列的正交性和不相关性的概念。

对于平稳序列 $\{X_t\}$ 和 $\{Y_t\}$ ，

如果对任何 $s,t\in \mathbb{Z}$ ，$\mathrm{E}(X_t{Y}_s)=0$ ，则称 $\{X_t\}$ 和 $\{Y_t\}$ 是正交的；

如果对任何 $s,t\in \mathbb{Z}$ ，$\mathrm{C}\mathrm{o}\mathrm{v}(X_t,Y_s)=0$ ，则称 $\{X_t\}$ 和 $\{Y_t\}$ 是不相关的；

对于零均值的平稳序列，正交性和不相关性等价。

具有正交性或不相关性的平稳序列具有如下良好的性质：

设平稳序列 $\{X_t\}$ 和 $\{Y_t\}$ 的自协方差函数分别为 ${\gamma }_X(k)$ 和 ${\gamma }_Y(k)$ ，数学期望分别为 ${\mu }_X$ 和 ${\mu }_Y$ 。定义
$$Z_t=X_t+Y_t,t\in \mathbb{Z}.$$
(1) 如果 $\{X_t\}$ 和 $\{Y_t\}$ 正交，则 $\{Z_t\}$ 是平稳序列，且有自协方差函数
$${\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k)-2{\mu }_X{\mu }_Y,k=0,1,2,...$$
(2) 如果 $\{X_t\}$ 和 $\{Y_t\}$ 不相关，则 $\{Z_t\}$ 是平稳序列，且有自协方差函数
$${\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k),k=0,1,2,...$$

证明 $\{Z_t\}$ 是平稳序列需要证明以下三条性质

二阶矩有限：
$$\mathrm{E}{Z}_t^2=\mathrm{E}(X_t+Y_t{)}^2\le \mathrm{E}(X_t^2+Y_t^2)<\infty .$$
均值为常数：
$${\mu }_Z=\mathrm{E}{Z}_t=\mathrm{E}(X_t+Y_t)={\mu }_X+{\mu }_Y.$$
自协方差函数只与时间差有关：

如果 $\{X_t\}$ 和 $\{Y_t\}$ 正交：
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)& =\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(X_t,Y_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_s)\\ & ={\gamma }_X(t-s)+{\gamma }_Y(t-s)+\mathrm{E}(X_t{Y}_s)-\mathrm{E}(X_t)\mathrm{E}(Y_s)+\mathrm{E}(Y_t{X}_s)-\mathrm{E}(Y_t)\mathrm{E}(X_s)\\ & ={\gamma }_X(t-s)+{\gamma }_Y(t-s)+0-{\mu }_X{\mu }_Y+0-{\mu }_X{\mu }_Y\\ & ={\gamma }_X(t-s)+{\gamma }_Y(t-s)-2{\mu }_X{\mu }_Y.\end{array}$$
如果 $\{X_t\}$ 和 $\{Y_t\}$ 不相关：
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)& =\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(X_t,Y_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_s)\\ & ={\gamma }_X(t-s)+0+0+{\gamma }_Y(t-s)\\ & ={\gamma }_X(t-s)+{\gamma }_Y(t-s).\end{array}$$
令 $t-s=k$ 即可得证自协方差函数的表达式。