非独立随机变量的概率上界估计

目前的概率论或者随机变量书籍过分强调对独立随机变量的大数定律，中心极限定理，遗憾上界的估计。而对于非独立随机变量的研究很少，在《概率论的极限定理》中曾给出过一般随机变量求和的渐进分布簇的具体形式，然而形式却太过复杂。下面将以切比雪夫不等式为基本出发点，研究非独立情况下的随机变量均值的一个误差上界，为后面研究提供基础。

（非独立随机变量概率误差上界） 若对于随机变量$\{r_{t+1},r_{t+1},...,r_{t+n}\}$，存在$D_{\max }\ge 0$使得对于任意$k$，有$\mathbb{D}[r_{t+k}|H_k]\le D_{\max }$，则有下面的式子成立，对于给定$\epsilon >0$：
$$\begin{gathered} \mathbb{P}[|\frac{1}{n}\sum _{k=1}^n{r}_{t+k}-\frac{1}{n}\sum _{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}|H_k]|>\epsilon ]\le \frac{\mathbb{D}[{\sum }_{k=1}^n{r}_{t+k}|H_n]}{n^2{\epsilon }^2} \\ =\frac{{\sum }_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+{\sum }_{i=1}^n{\sum }_{j\ne i}^n[\mathbb{E}[r_{t+i}{r}_{t+j}|H_n]-\mathbb{E}[r_{t+i}|H_n]\mathbb{E}[r_{t+j}|H_n]}{n^2{\epsilon }^2} \\ =\frac{{\sum }_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+{\sum }_{i=1}^n{\sum }_{j\ne i}^n{\rho }_{ij}\sqrt{\mathbb{D}[r_{t+i}|H_n]}\sqrt{\mathbb{D}[r_{t+j}|H_n]}}{n^2{\epsilon }^2} \\ =D_{\max }\frac{n+{\sum }_{i=1}^n{\sum }_{j\ne i}{\rho }_{ij}}{n^2{\epsilon }^2} \end{gathered}$$
其中${\rho }_{ij}\in [-1,1]$，表示随机变量$r_{t+i}$和随机变量$r_{t+j}$的相关系数，描述了其相关程度。

（推论1） 可以看出的是，若相关性最强的情况，对于任意两个随机变量$r_{t+i}$和$r_{t+j}$间都是强相关的，即对于任意$r_{t+i},r_{t+j}$，${\rho }_{ij}=1$，则有对于给定的$\epsilon >0$：
$$\mathbb{P}[|\frac{1}{n}\sum _{k=1}^n{r}_{t+k}-\frac{1}{n}\sum _{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}|H_k]|>\epsilon ]\le \frac{D_{\max }}{{\epsilon }^2}$$
（推论2） 非独立随机变量若想要使得 大数定律成立，即$\frac{1}{n}{\sum }_{k=1}^n{r}_{t+k}$依概率收敛到$\frac{1}{n}{\sum }_{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}]$,则需要使得${\sum }_{j\ne i}{\rho }_{ij}<o(n)$或者${\sum }_{i=1}^n{\sum }_{j\ne i}{\rho }_{ij}<o(n^2)$ 。

即对于任意一个随机变量$r_{t+i}$而言，其同其他随机变量$r_{t+j}$的相关程度之和应该大于$n$的线性增加。例如：随着$n$的增加，$r_{t+i}$永远只有和其有限个$m$的$r_{t+i-1},r_{t+i-2},...r_{t+i-m}$相关，则此时大数定律依然成立。
（推论3） 若对于任意${\rho }_{ij},i\ne j$，$|{\rho }_{ij}|<\rho \le 1$,则可以得到：$$\mathbb{P}[|\frac{1}{n}\sum _{k=1}^n{r}_{t+k}-\frac{1}{n}\sum _{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}|H_k]|>\epsilon ]\le \frac{D_{\max }|\rho |}{{\epsilon }^2}+\frac{D_{\max }(1-|\rho |)}{n{\epsilon }^2}$$
进一步可以由极限的保号性可以得到:$$\underset{n\to \infty }{\lim }\mathbb{P}[|\frac{1}{n}\sum _{k=1}^n{r}_{t+k}-\frac{1}{n}\sum _{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}|H_k]|>\epsilon ]\le \frac{D_{\max }|\rho |}{{\epsilon }^2}$$
Proof：设$a_n=\mathbb{P}[|\frac{1}{n}{\sum }_{k=1}^n{r}_{t+k}-\frac{1}{n}{\sum }_{k=1}^n{\mathbb{E}}_{t+k}[r_{t+k}|H_k]|$，设${\lim }_{n\to \infty }{a}_n=c_1$，$b_n=\frac{D_{\max }|\rho |}{{\epsilon }^2}+\frac{D_{\max }(1-|\rho |)}{n{\epsilon }^2}$,令$c_2=\frac{D_{\max }|\rho |}{{\epsilon }^2}$,则：${\lim }_{n\to \infty }{b}_n=c_2$，由假设可知$a_n\le b_n$恒成立。待证明$c_1\le c_2$,下面采用反证法证明：
不妨设$c_1>c_2$,则有：
$$\underset{n\to \infty }{\lim }(a_n-b_n)=c_1-c_2>0$$由极限的保号性：$\exists N$,当$n>N$时有$a_n-b_n>0$，即$a_n>b_n$，然而这与条件$a_n\le b_n$恒成立矛盾，因此得证$c_1\le c_2$。

（问题） 所以目前一个重要的问题是：${\rho }_{ij}$如何进行估计？