随机过程1准备知识

随机过程相关知识在自己的学习生活中经常用到，所以就结合b站上相关的视频和自己以前学过的一些基础，再简单复习一下随机过程。由于自己是工科生，理解肯定有许多不到位的地方，还请多谅解。

概念

可测空间

设集合$\Omega$为样本空间，$\mathcal{F}$为$\Omega$的某些子集的集合，满足：

1. $\Omega \in \mathcal{F}$;
2. 若$A\in \mathcal{F}$，则$\overline{A}\in \mathcal{F}$;
3. 若$A_n\in \mathcal{F},n=1,2,\cdots$，则${\cup }_{n=1}^{+\infty }{A}_n\in \mathcal{F}$，

则称$\mathcal{F}$称为一个事件$\sigma$域，称$\mathcal{F}$中的元素为随机事件，称$(\Omega ,\mathcal{F})$为一个可测空间。

概率与概率空间

设$(\Omega ,\mathcal{F})$为一个可测空间，$P:\mathcal{F}\to [0,1]$，满足：
1. $P(\Sigma )=1$;
2. $\forall A\in \mathcal{F},0\le P(A)\le 1$;
3. 对$A_n\in \mathcal{F}$且$A_i{A}_j=\varnothing$，有$P({\sum }_{n=1}^{+\infty })P(A_n)$，
则称$P$为$(\Sigma ,\mathcal{F})$上的一个概率（测度），称$(\Omega ,\mathcal{F},P)$ 为一个概率空间。

概率的连续性：若$\forall n,A_n\in A_{n+1}$，则$\underset{n\to \infty }{\lim }P(A_n)=P(\bigcup _{n=1}^{\infty }{A}_n)$

条件概率

设$(\Omega ,\mathcal{F},P)$为一个概率空间，$A\in \mathcal{F},P(A)>0$,对$\forall B\in \mathcal{F}$，另$P(B|A)=\frac{P(AB)}{P(A)}$，则$P(\cdot |A)$为$(\Omega ,\mathcal{F})$上的一个概率测度，称为条件概率测度。
一些结论：

• 乘积公式：对$A,B\in \mathcal{F}$，有$P(AB)=P(A)P(B|A)$.
• 全概率公式：对$A_n,B\in \mathcal{F},P(A_n)>0,n=1,2,\cdots ,\Omega ={\sum }_n{A}_n$，则 $P(B)=\sum _{n}P(A_n)P(B|A_n)$.
• 条件概率下的全概率公式：$A_n,B,C\in \mathcal{F},n=1,2,\cdots ,\Omega ={\sum }_n{A}_n$，则$P(B|C)=\sum _{n}P(A_n|C)P(B|A_{n}C)$

独立性

设$(\Omega ,\mathcal{F},P)$为一个概率空间，$I$为一个指标集，$\{A_i{\}}_{i\in I}\in \mathcal{F}$为一族事件。若对任意的$n\in \mathbb{N},n\ge 2$，和任意$I$中互异的指标$i_1,i_2,\cdots ,i_n$，都有：
$P(\bigcap _{k=1}^n{A}_{ik})=\prod _{k=1}^{n}P(A_{ik})$,则称$\{A_i{\}}_{i\in I}$相互独立。

随机变量

设$(\Omega ,\mathcal{F})$为一个可测空间，$X=(X_1,X_2,\cdots ,X_n):(\Omega ,\mathcal{F})\to ({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$为可测函数，则称$X$为一个$n$维（实值）随机变量。

随机变量的独立性

设$X=(X_1,X_2,\cdots ,X_n)$为$(\Omega ,\mathcal{F},P)$上的一个$n$维R.V.，若对任意$B_1,B_2,\cdots ,B_n\in B(\mathbb{R})$，有$P(X\in B_1\times B_2\times \cdots \times B_n)=\prod _{k=1}^n{F}_{X_k}(x_k)$，则称$X_1,X_2,\cdots ,X_n$相互独立。

随机变量的数字特征

设$X$为$\Omega ,\mathcal{F},P$上的一个R.V.，称$D(X)=E(X-E(X){)}^2$为$X$的方差；
设$(X,Y)$为$(\Omega ,\mathcal{F},P)$上的一个二维R.V.，称$cov(X,Y)=E((X-E(X))(Y-E(Y)))$为$X,Y$的协方差；
设$X=(X_1,X_2,\cdots ,X_n)$为$(\Omega ,\mathcal{F},P)$上的一个$n$维R.V.，称$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n)$为$X$的均值向量，其中${\mu }_i=E(X_i),i=1,2,\cdots ,n$；

称$\Gamma =({\sigma }_{ij}{)}_{n\times n}$为$X$的协方差矩阵，其中${\sigma }_{ij}=cov(X_i,X_j)$，$i,j=1,2,\cdots ,n$.

定义里数学符号比较多，我一开始也分不清。便于理解，可以简单的看成$E$是事件，$S$是样本空间，再当作工科概率论算就行。

常用的定理等

极限理论

1. 强大数定律：
   $x_1,x_2,\cdots ,x_n$均值为$\mu$，则：
   $P\{\underset{n\to \infty }{\lim }\frac{x_1+x_2+\cdots +x_n}{n}=\mu \}$=1
   $P\{\underset{n\to \infty }{\lim }\frac{1}{n}{\sum }_{i=1}^n(x_i-E(X)=0\}=1$
2. 中心极限定理：
   $x_1,x_2,\cdots ,x_n$独立同分布，均值$u$，方差${\sigma }^2$，则：
   $\underset{n\to \infty }{\lim }P\{\frac{(x_1+x_2+\cdots +x_n)-n\mu }{\sigma /\sqrt{n}}\le a\}={\int }_{-\infty }^a\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2}}dx$

常用不等式

1. Markov不等式
   $\forall a>0,P\{X\ge a\}\le \frac{E(X)}{a}$

2. Jenson不等式
   凸函数：$E(f(X))\ge f(E(X))$
   凹函数：$E(f(X))\le f(E(X))$

常见的一维分布

1. 二项分布$B(n,p)$，$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k-1,2,\cdots ,n$.
2. Poisson分布$P(\lambda ),P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!},k=0,1,\cdots$.
3. 均匀分布$U(a,b)$,$f(x)=\frac{1}{b-a}{\mathcal{X}}_{(a,b)}(x)$.
4. 指数分布$E(\lambda ),f(x)=\lambda e^{-\lambda x}{\mathcal{X}}_{(0,+\infty )}(x)$.
5. 正态分布$N(\mu ,{\sigma }^2),f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}$.