概率论与数理统计部分知识点笔记

1.条件概率

1.1.条件概率的定义

1.2.乘法公式

1.3.总结

2.全概率公式和贝叶斯公式

2.1.全概率公式

2.2.贝叶斯公式（重要）

注意：

• 贝叶斯公式这里就是把要求的 后验概率$P(B_i|A)$ 先利用条件概率公式的定义展开，得到$$P(B_i|A)=\frac{P(AB)}{P(A)}$$然后把分子使用乘法公式展开，分母使用全概率公式展开，之所以这么展开是为了转化成已知的似然概率$P(A|B_i)$ 和 先验概率$P(B_i)$，这样才能计算，因此得到下面的贝叶斯公式：
  $$P(B_i|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_i)P(B_j)}$$
  
  

2.3.随机变量的独立性

3.期望和方差、协方差矩阵

3.1.数学期望

3.2.方差

3.3.协方差与相关系数

注意：

• 相关性指的是线性相关性，而独立性是一般的关系。所以独立则一定不相关；但不相关未必独立，因为不相关只是说X和Y没有线性关系，但是可能存在其他关系。
• （X，Y）服从二维正态分布时不相关与独立是等价的，具体见下面的例题：
  

3.4.矩、协方差矩阵

3.4.1.矩

3.4.2.协方差矩阵

4.多元随机变量的正态分布

4.1.多元高斯分布写成协方差矩阵的形式

4.2.多元正态概率密度

5.最大似然估计

5.1.最大似然估计的思想

5.2.最大似然估计的求解