人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

---

---

6. 概率论

- 基本概念

• 用概率论建模，假设它服从某种概率分布

• 随机事件 (必然事件，不可能事件) 和随机事件概率

• 随机事件独立：$p(b|a)=p(b)$ , $p(a,b)=p(a)p(b)$, $p(a_1,\cdots ,a_n)=\prod _{i=1}^{n}p(a_i)$

• 随机变量：(1) 离散；(2) 连续，概率密度函数 $f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x)dx=1$

  $F(y)=p(x\le y)={\int }_{-\infty }^{y}f(x)dx,{\int }_{x_1}^{x_2}f(x)dx=F(x_2)-F(x_1)$

- 条件概率和贝叶斯公式

• 对于两个随机事件 $a$ 和 $b$ ，在 $a$ 发生的情况下 $b$ 发生的概率为 $p(b|a)=\frac{p(a,b)}{p(a)}$

• 贝叶斯公式：$p(a|b)=\frac{p(a)p(b|a)}{p(b)}$，$a$ 为因，$b$ 是果，知道原因后结果发生的概率是先验概率，贝叶斯公式得到的是后验概率。

  $p(b)p(a|b)=p(a,b)=p(a)p(b|a)$

• 最大化后验概率 MAP

- 数学期望和方差

• 数学期望就是概率意义的平均值

  $E(x)=\sum x_{i}p(x_i),E(x)={\int }_{-\infty }^{+\infty }xf(x)dx$

• 方差反应数据的波动程度

  $D(x)=\sum (x_i-E(x){)}^{2}p(x_i)$

  $D(x)={\int }_{-\infty }^{+\infty }(x-E(x){)}^{2}f(x)dx$

• 有关性质

  $E(a+bX)=a+bEX$

  $VarX=E(X-\mu {)}^2=E(X^2)-(E(X){)}^2$

- 常用分布

• 正态分布：$\sigma$ 越大越矮胖
  $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

• 均匀分布：
  $$f(x)=\{\begin{array}{c}\frac{1}{b-a}a\le x\le b\\ 0x<a,x>b\end{array}$$

• 二项分布
  $$p(x=1)=p,p(x=0)=1-p$$

- 随机向量

• 随机变量推广至随机向量

• 离散型：$p(\mathbf{x}={\mathbf{x}}_i)$ 向量取值为某一向量

• 连续型：$f(\mathbf{x})\ge 0,\iiint f(\mathbf{x})d\mathbf{x}=1$，二维时：$f(x_1,x_2)\ge 0,f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x_1,x_2)d{x}_{1}d{x}_2=1$

• 随机变量的独立性：$f(x_1,x_2,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n)$

• 随机向量的常见分布：正态分布
  $$f(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\left|\Sigma \right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )},x\in {\mathbb{R}}^n$$
  $\Sigma$ 是协方差矩阵。

- 协方差

• 对于两个随机变量：
  $$\begin{gathered} cov(x_1,x_2)=E((x_1-E(x_1))(x_2-E(x_2))) \\ cov(x_1,x_2)=E(x_1{x}_2)-E(x_1)E(x_2) \end{gathered}$$

• 协方差矩阵
  $$\left[\begin{array}{cccc}{x}_1{x}_1& x_1{x}_2& \cdots & x_1{x}_n\\ x_2{x}_1& \ddots & \cdots & x_2{x}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_n{x}_1& \cdots & \cdots & x_n{x}_n\end{array}\right]$$

- 最大似然估计

• 最大似然估计(maximum likelihood estimation, MLE)，估计参数；
• 总似然：$L(\theta )=\prod _{i=1}^{l}p(x_i;\theta )$
• 对数总似然：$\ln L(\theta )=\ln \prod _{i=1}^{l}p(x_i;\theta )=\sum _{i=1}^l\ln p(x_i;\theta )$
• $\max \sum _{i=1}^l\ln p(x_i;\theta )$，对 $\theta$ 求导让它对于0