【时间序列分析】02. 线性平稳序列
Contents
- 线性平稳序列
-
- 有限运动平均
- 线性平稳序列
- 线性滤波
线性平稳序列
有限运动平均
线性平稳序列是由白噪声的线性组合构成的平稳序列。最简单的线性平稳序列是有限运动平均。
设 { ϵ t } \{\epsilon_t\} { ϵt} 是 W N ( 0 , σ 2 ) {\rm WN}(0,\,\sigma^2) WN(0,σ2) ，对于非负整数 q q q 和常数 a 0 , a 1 , . . . , a q a_0,a_1,...,a_q a0,a1,...,aq ，称
X t = ∑ j = 0 q a j ϵ t − j = a 0 ϵ t + a 1 ϵ t − 1 + . . . + a q ϵ t − q , t ∈ Z X_t=\sum_{j=0}^qa_j\epsilon_{t-j}=a_0\epsilon_t+a_1\epsilon_{t-1}+...+a_q\epsilon_{t-q} \ , \ \ \ \ t\in\Z Xt=j=0∑qajϵt−j=a0ϵt+a1ϵt−1+...+aqϵt−q , t∈Z
是白噪声 { ϵ t } \{\epsilon_t\} { ϵt} 的有限运动平均，简称 M A {\rm MA} MA 序列。
验证 M A {\rm MA} MA 序列的平稳性：
E ( X t ) = 0 {\rm E}(X_t)=0 E(Xt)=0
E ( X t + k X t ) = E [ ∑ i = 0 q a i ϵ t + k − i ∑ j = 0 q a j ϵ t − j ] = ∑ j = 0 q ∑ i = 0 q a i a j E ( ϵ t + k − i ϵ t − j ) = σ 2 ∑ j = 0 q ∑ i = 0 q a i a j δ j + k − i = σ 2 ∑ j = 0 q − k a j a j + k \begin{aligned} {\rm E}(X_{t+k}X_t)&={\rm E}\left[\sum_{i=0}^qa_i\epsilon_{t+k-i}\sum_{j=0}^qa_j\epsilon_{t-j}\right] \\ &=\sum_{j=0}^q\sum_{i=0}^qa_ia_j\,{\rm E}(\epsilon_{t+k-i}\epsilon_{t-j}) \\ &=\sigma^2\sum_{j=0}^q\sum_{i=0}^qa_ia_j\delta_{j+k-i} \\ &=\sigma^2\sum_{j=0}^{q-k}a_ja_{j+k} \end{aligned} E(Xt+kXt)=E[i=0∑qaiϵt+k−ij=0∑qajϵt−j]=j=0∑qi=0∑qaiajE(ϵt+k−iϵt−j)=σ2j=0∑qi=0∑qaiajδj+k−i=σ2j=0∑q−kajaj+k
E ( X t 2 ) = σ 2 ∑ j = 0 q a j 2 < ∞ E(X_t^2)=\sigma^2\sum_{j=0}^qa_j^2<\infty E(Xt2)=σ2j=0∑qaj2<∞
由此得证 { X t } \{X_t\} { Xt} 是平稳序列，自协方差函数可以改写为
γ k = { σ 2 ∑ j = 0 q − k a j a j + k , 0 ≤ k ≤ q , 0 , k > q . \gamma_k=\left\{ \begin{array}{ll} \sigma^2\displaystyle\sum_{j=0}^{q-k}a_ja_{j+k}\ , & 0\leq k\leq q\ ,\\ 0\ , & k>q\ . \end{array} \right. γk=⎩⎪⎨⎪⎧σ2j=0∑q−kajaj+k ,0 ,0≤k≤q ,k>q .
线性平稳序列
把有限运动平均推广到无限的场合需要概率论的极限理论，用来对随机变量的无穷级数求数学期望。
单调收敛定理：如果非负随机变量序列单调不减，即 0 ≤ ξ 1 ≤ ξ 2 ≤ . . . 0\leq\xi_1\leq\xi_2\leq... 0≤ξ1≤ξ2≤... ，则当 ξ n → ξ a . s . \xi_n\to\xi\ \ a.s. ξn→ξ a.s. 时，有 E ξ = lim n → ∞ E ξ n {\rm E}\xi=\displaystyle\lim_{n\to\infty}{\rm E}\xi_n Eξ=n→∞limEξn 。
控制收敛定理：如果随机变量序列 { ξ n } \{\xi_n\} { ξn} 满足 ∣ ξ n ∣ ≤ ξ 0 a . s . |\xi_n|\leq\xi_0\ \ a.s. ∣ξn∣≤ξ0 a.s. 和 E ∣ ξ 0 ∣ < ∞ {\rm E}|\xi_0|<\infty E∣ξ0∣<∞ ，则当 ξ n → ξ a . s . \xi_n\to\xi\ \ a.s. ξn→ξ a.s. 时，有 E ∣ ξ ∣ < ∞ {\rm E}|\xi|<\infty E∣ξ∣<∞ 且 E ξ n → E ξ {\rm E}\xi_n\to{\rm E}\xi Eξn→Eξ 。
在单调收敛定理或控制收敛定理的条件下，期望与极限可以交换次序：
lim n → ∞ E ξ n = E lim n → ∞ ξ n \lim_{n\to\infty}{\rm E}\xi_n={\rm E}\lim_{n\to\infty}\xi_n n→∞limEξn=En→∞limξn
进而得到推论：对于任何时间序列 { Y t } \{Y_t\} { Yt}
E [ ∑ t = − ∞ ∞ ∣ Y t ∣ ] = E [ lim n → ∞ ∑ t = − n n ∣ Y t ∣ ] = lim n → ∞ E [ ∑ t = − n n ∣ Y t ∣ ] = lim n → ∞ ∑ t = − n n E ∣ Y t ∣ = ∑ t = − ∞ ∞ E ∣ Y t ∣ {\rm E}\left[\sum_{t=-\infty}^\infty|Y_t|\right]={\rm E}\left[\lim_{n\to\infty}\sum_{t=-n}^n|Y_t|\right] =\lim_{n\to\infty}{\rm E}\left[\sum_{t=-n}^n|Y_t|\right] =\lim_{n\to\infty}\sum_{t=-n}^n{\rm E}|Y_t| =\sum_{t=-\infty}^\infty{\rm E}|Y_t| E[t=−∞∑∞∣Yt∣]=E[n→∞limt=−n∑n∣Yt∣]=n→∞limE[t=−n∑n∣Yt∣]=n→∞limt=−n∑nE∣Yt∣=t=−∞∑∞E∣Yt∣
下面给出线性平稳序列的定义并证明其平稳性
如果实数列 { a j } \{a_j\} { aj} 是绝对可和的，即 ∑ j = − ∞ ∞ ∣ a j ∣ < ∞ \displaystyle\sum_{j=-\infty}^\infty|a_j|<\infty j=−∞∑∞∣aj∣<∞ ，定义零均值白噪声 { ϵ t } \{\epsilon_t\} { ϵt} 的无穷滑动和如下：
X t = ∑ j = − ∞ ∞ a j ϵ t − j , t ∈ Z X_t=\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}\ , \ \ \ \ t\in\Z Xt=j=−∞∑∞ajϵt−j , t∈Z
则 { X t } \{X_t\} { Xt} 是平稳序列，有自协方差函数
γ k = σ 2 ∑ j = − ∞ ∞ a j a j + k , k ∈ Z \gamma_k=\sigma^2\sum_{j=-\infty}^\infty a_ja_{j+k}\ , \ \ \ \ k\in\Z γk=σ2j=−∞∑∞ajaj+k , k∈Z
首先证明 { X t } \{X_t\} { Xt} 的均值为 0 0 0 ，将 E X t {\rm E}X_t EXt 写成无穷滑动和的形式
E X t = E ∑ j = − ∞ ∞ a j ϵ t − j = E [ lim n → ∞ ∑ j = − n n a j ϵ t − j ] {\rm E}X_t={\rm E}\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n a_j\epsilon_{t-j}\right] EXt=Ej=−∞∑∞ajϵt−j=E[n→∞limj=−n∑najϵt−j]
观察到 E ∑ j = − n n a j ϵ t − j = ∑ j = − n n a j E ϵ t − j = 0 {\rm E}\displaystyle\sum_{j=-n}^na_j\epsilon_{t-j}=\displaystyle\sum_{j=-n}^na_j{\rm E}\epsilon_{t-j}=0 Ej=−n∑najϵt−j=j=−n∑najEϵt−j=0 ，因此要证 E X t = 0 {\rm E}X_t=0 EXt=0 ，只需证明上式中的期望和极限可以交换顺序，所以考虑单调收敛定理和控制收敛定理。
定义 ξ n = ∑ j = − n n a j ϵ t − j \xi_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{t-j} ξn=j=−n∑najϵt−j ， ξ 0 = ∑ j = − ∞ ∞ ∣ a j ϵ t − j ∣ \xi_0=\displaystyle\sum_{j=-\infty}^\infty |a_j\epsilon_{t-j}| ξ0=j=−∞∑∞∣ajϵt−j∣ ， ξ = ∑ j = − ∞ ∞ a j ϵ t − j = X t \xi=\displaystyle\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}=X_t ξ=j=−∞∑∞ajϵt−j=Xt ，
由之前的推论和柯西不等式得到
E ∣ ξ 0 ∣ = E ∑ j = − ∞ ∞ ∣ a j ϵ t − j ∣ = ∑ j = − ∞ ∞ ∣ a j ∣ E ∣ ϵ t − j ∣ ≤ σ ∑ j = − ∞ ∞ ∣ a j ∣ < ∞ {\rm E}|\xi_0|={\rm E}\displaystyle\sum_{j=-\infty}^\infty |a_j\epsilon_{t-j}|=\displaystyle\sum_{j=-\infty}^\infty |a_j|{\rm E}|\epsilon_{t-j}|\leq\sigma\displaystyle\sum_{j=-\infty}^\infty |a_j|<\infty E∣ξ0∣=Ej=−∞∑∞∣ajϵt−j∣=j=−∞∑∞∣aj∣E∣ϵt−j∣≤σj=−∞∑∞∣aj∣<∞
又因为
∣ ξ n ∣ = ∣ ∑ j = − n n a j ϵ t − j ∣ ≤ ∑ j = − ∞ ∞ = ξ 0 |\xi_n|=\bigg|\sum_{j=-n}^n a_j\epsilon_{t-j}\bigg|\leq \displaystyle\sum_{j=-\infty}^\infty=\xi_0 ∣ξn∣=∣∣∣∣j=−n∑najϵt−j∣∣∣∣≤j=−∞∑∞=ξ0
所以由控制收敛定理得到
E X t = E ∑ j = − ∞ ∞ a j ϵ t − j = E [ lim n → ∞ ∑ j = − n n a j ϵ t − j ] = lim n → ∞ E [ ∑ j = − n n a j ϵ t − j ] = 0 {\rm E}X_t={\rm E}\sum_{j=-\infty}^\infty a_j\epsilon_{t-j}={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n a_j\epsilon_{t-j}\right]=\lim_{n\to\infty}{\rm E}\left[\sum_{j=-n}^n a_j\epsilon_{t-j}\right]=0 EXt=Ej=−∞∑∞ajϵt−j=E[n→∞limj=−n∑najϵt−j]=n→∞limE[j=−n∑najϵt−j]=0
然后计算自协方差函数 γ k \gamma_k γk ，同样先写成无穷滑动和的形式
E ( X t X s ) = E [ ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ a j a k ϵ t − j ϵ s − k ] = E [ lim n → ∞ ∑ j = − n n ∑ k = − n n a j a k ϵ t − j ϵ s − k ] {\rm E}(X_tX_s)={\rm E}\left[\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty a_ja_k\epsilon_{t-j}\epsilon_{s-k}\right]={\rm E}\left[\lim_{n\to\infty}\sum_{j=-n}^n\sum_{k=-n}^na_ja_k\epsilon_{t-j}\epsilon_{s-k}\right] E(XtXs)=E[j=−∞∑∞k=−∞∑∞ajakϵt−jϵs−k]=E[n→∞limj=−n∑nk=−n∑najakϵt−jϵs−k]
定义 ξ n = ∑ j = − n n a j ϵ t − j \xi_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{t-j} ξn=j=−n∑najϵt−j ， η n = ∑ j = − n n a j ϵ s − j \eta_n=\displaystyle\sum_{j=-n}^n a_j\epsilon_{s-j} ηn=j=−n∑najϵs−j ，则有 ξ n η n → X t X s a . s . \xi_n\eta_n\to X_tX_s\ \ a.s. ξnηn→XtXs a.s.
同样考虑单调收敛定理和控制收敛定理，
∣ ξ n η n ∣ ≤ ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ ∣ a j a k ϵ t − j ϵ s − k ∣ |\xi_n\eta_n|\leq\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k\epsilon_{t-j}\epsilon_{s-k}| ∣ξnηn∣≤j=−∞∑∞k=−∞∑∞∣ajakϵt−jϵs−k∣
E ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ ∣ a j a k ϵ t − j ϵ s − k ∣ = ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ ∣ a j a k ∣ E ∣ ϵ t − j ϵ s − k ∣ ≤ σ 2 [ ∑ j = − ∞ ∞ ∣ a j ∣ ] 2 < ∞ {\rm E}\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k\epsilon_{t-j}\epsilon_{s-k}|=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty|a_ja_k|{\rm E}|\epsilon_{t-j}\epsilon_{s-k}|\leq\sigma^2\left[\sum_{j=-\infty}^\infty|a_j|\right]^2<\infty Ej=−∞∑∞k=−∞∑∞∣ajakϵt−jϵs−k∣=j=−∞∑∞k=−∞∑∞∣ajak∣E∣ϵt−jϵs−k∣≤σ2[j=−∞∑∞∣aj∣]2<∞
所以由控制收敛定理得到
E ( X t X s ) = ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ a j a k E ( ϵ t − j ϵ s − k ) {\rm E}(X_tX_s)=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty a_ja_k {\rm E}\left(\epsilon_{t-j}\epsilon_{s-k}\right) E(XtXs)=j=−∞∑∞k=−∞∑∞ajakE(ϵt−jϵs−k)
写成关于 k k k 的自协方差函数即证
γ k = σ 2 ∑ j = − ∞ ∞ a j a j + k , k ∈ Z \gamma_k=\sigma^2\sum_{j=-\infty}^\infty a_ja_{j+k}\ , \ \ \ \ k\in\Z γk=σ2j=−∞∑∞ajaj+k , k∈Z
一般的线性平稳序列只要求 { a j } \{a_j\} { aj} 平方可和，即要求
∑ j = − ∞ ∞ a j 2 < ∞ . \sum_{j=-\infty}^\infty a_j^2<\infty. j=−∞∑∞aj2<∞.
平方可和的条件比绝对可和的条件较弱，但仍然可以满足 { X t } \{X_t\} { Xt} 是平稳序列。
对于线性平稳序列 { X t } \{X_t\} { Xt} 的研究，还需要对 { γ k } \{\gamma_k\} { γk} 的性质进行探讨
设 { ϵ t } \{\epsilon_t\} { ϵt} 是 W N ( 0 , σ 2 ) {\rm WN}(0,\,\sigma^2) WN(0,σ2) ，实数列 { a j } \{a_j\} { aj} 平方可和，线性平稳序列 { X t } \{X_t\} { Xt} 定义为
X t = ∑ j = − ∞ ∞ a j ϵ t − j , t ∈ Z X_t=\sum_{j=-\infty}^\infty a_j\epsilon_{t-j} \ , \ \ \ \ t\in\Z Xt=j=−∞∑∞ajϵt−j , t∈Z
则自协方差函数 lim k → ∞ γ k = 0 \displaystyle\lim_{k\to\infty}\gamma_k=0 k→∞limγk=0
线性滤波
对序列 { X t } \{X_t\} { Xt} 进行滑动求和：
Y t = ∑ j = − ∞ ∞ h j X t − j , t ∈ Z Y_t=\sum_{j=-\infty}^\infty h_jX_{t-j} \ , \ \ \ \ t\in\Z Yt=j=−∞∑∞hjXt−j , t∈Z
称为对 { X t } \{X_t\} { Xt} 进行线性滤波。其中绝对可和的实数列 H = { h j } H=\{h_j\} H={ hj} 称为保时线性滤波器。
如果输入信号 { X t } \{X_t\} { Xt} 是平稳序列，则输出信号 { Y t } \{Y_t\} { Yt} 也是平稳序列。
数学期望
μ Y = E Y t = E ∑ j = − ∞ ∞ h j X t − j = ∑ j = − ∞ ∞ h j E X t − j = μ X ∑ j = − ∞ ∞ h j \mu_Y={\rm E}Y_t={\rm E}\sum_{j=-\infty}^\infty h_jX_{t-j}=\sum_{j=-\infty}^\infty h_j{\rm E}X_{t-j}=\mu_X\sum_{j=-\infty}^\infty h_j μY=EYt=Ej=−∞∑∞hjXt−j=j=−∞∑∞hjEXt−j=μXj=−∞∑∞hj
自协方差函数
γ Y ( n ) = C o v ( Y n + 1 , Y 1 ) = ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ h j h k E [ ( X n + 1 − j − μ Y ) ( X 1 − k − μ ) ] = ∑ j = − ∞ ∞ ∑ k = − ∞ ∞ h j h k γ X ( n + k − j ) \gamma_Y(n)={\rm Cov}(Y_{n+1},\,Y_1)=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty h_jh_k {\rm E}[(X_{n+1-j}-\mu_Y)(X_{1-k}-\mu)]=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty h_jh_k\gamma_X(n+k-j) γY(n)=Cov(Yn+1,Y1)=j=−∞∑∞k=−∞∑∞hjhkE[(Xn+1−j−μY)(X1−k−μ)]=j=−∞∑∞k=−∞∑∞hjhkγX(n+k−j)