【概率论基础】概率论的一些基础概念以及公式

概率论基础

1. 不确定性的来源：

   • 被建模系统内在的随机性：如量子力学的粒子动力学描述。
   • 不完全观测：不嫩观测到所有驱动系统行为的变量。
   • 不完全建模：进行假设简化时必须舍弃某些观测信息，舍弃的信息导致魔性的预测出现不确定性。

2. 随机变量：X, Y。随机变量的取值：x,y，试验可能的结果

   概率密度函数 probability density function, PDF：描述连续性随机变量

   概率质量函数 probability mass function, PMF：描述离散型随机变量

   联合概率分布 joint probability distribution：多个变量的概率分布

   边缘概率分布 marginal probability distribution：已知一组变量的联合概率分布，求其中一个子集的概率分布。

3. 条件概率 Conditional probability：某个事件在给定其他事件发生时出现的概率。$P(y|x)=\frac{P(x,y)}{P(x)},P(X<x|Y=y)={\int }_{-\infty }^x\frac{f(x,y)}{f(y)}dx$

   条件概率的链式法则：$P(a,b,c)=P(a|b,c)P(b|c)P(c)$

   先验概率 prior probability：$P(X)$事先根据已有的经验只是推断的概率。如硬币正反出现的概率为50%。

   后验概率 posterior probability：$P(y|x)$在相关证据或给定条件下的概率。仨小偷，某个小偷去偷，村子失窃的概率。

   似然估计 Likelihood Estimate：$P(x|y)$已知结果推测固有性质的可能性。村子失窃，是某个小偷的概率。

   全概率公式 Total Probability Theorem：$P(y)={\sum }_{x}P(y|x)P(x)$ y：失窃 x：小偷，计算村子失窃的概率。由因导果。

   贝叶斯规则 Bayes’ rule：$P(x|y)=\frac{P(x)P(y|x)}{P(y)}$，村子失窃，计算是某个小偷的概率。即似然估计。执果索因。

   独立性和条件独立性 independent：$p(x,y)=p(x)p(y)$，$p(x,y|z)=p(x|z)p(y|z)$

   条件贝叶斯公式：三次变量 $P(x|y,z)=\frac{P(y|x,z)P(x|z)}{P(y|z)}=\eta P(y|x,z)P(x|z)$，推广并根据马尔科夫条件,x已知时$z_t$和$z_{1:t}$无关，$P(x|z_{1:t})=\frac{P(z_t|x,z_{1:t-1})P(x|z_{1:t-1})}{P(z_n|z_{1:t-1})}=\frac{P(z_n|x)P(x|z_{1:t-1})}{P(z_n|z_{1:t-1})}={\eta }_{t}P(z_t|x)P(x|z_{1:t-1})$

   条件联合概率公式：$P(x,y|z)=p(x|y,z)p(y|z)$

4. 期望 expectation：离散期望值$E={\sum }_{x}P(x)f(x)$，连续期望值 $E=\int p(x)f(x)dx$

   方差 Variance：$Var(f(x))=E[(f(x)-E(f(x){)}^2]$

   协方差 covariance：两个变量线性相关性的强度 $Cov(f(x),g(y))=E[(f(x)-E[f(x)])(g(y)-E[g(y)])]$，绝对值大意味着变量值变化很大并且他们同时距离各自的均值很远。

   协方差矩阵 convariance matrix：是一个nxn矩阵，$Cos(x{)}_{i,j}=Cov(x_i,x_j)$，其对角元是方差$Cov(x_i,x_i)=Var(x_i)$

5. 高斯分布 Gaussian distribution/正态分布 normal distribution：$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2)$

   多维正态分布 multivariate normal distribution：$N(x;\mu ,\sum )=\sqrt{\frac{1}{(2\pi {)}^{n}det(\sum )}}exp(-\frac{1}{2}(x-\mu {)}^T\sum {}^{-1}(x-\mu ))$