【系列一】频率派v.s.贝叶斯派

1. 资料介绍

1.1 书籍推荐

注：每本书各有侧重点，并没有一本书能全方位覆盖
侧重于频率派——统计机器学习：

1. 李航《统计学习方法》
2. 周志华《机器学习》
3. 《elements of statistical learning》

侧重于贝叶斯派——概率图模型

1. 周志华《机器学习》
2. 《pattern recognition and machine learning》（PRML）
3. 《machine learning：a probabilistic perspective》MLAPP

另有一本”圣经“：《deep learning》

1.2 视频推荐

• 台大林轩田 基石+技法
• 张志华：机器学习导论+统计机器学习
• Ng：CS229
• 徐亦达：概率模型
• 台大李宏毅：机器学习

2. 频率派v.s.贝叶斯派

datas: $X=(x_1,x_2,\dots ,x_n{)}_{n\times p}^T=\left(\begin{array}{c}{x}_{11},x_{12}\dots ,x_{1p}\\ x_{21},x_{22}\dots ,x_{2p}\\ ⋮\\ x_{n1},x_{n2}\dots ,x_{np}\end{array}\right)$
parameter: $\theta$
$$x_i\backsim p(x_i|\theta )$$
频率派的观点：参数$\theta$是未知常量，数据$X$是一个随机变量(r.v.)。
对参数$\theta$进行极大似然估计：$$\begin{gathered} {\theta }_{MLE}=arg\underset{\theta }{\max }\ell (\theta )=arg\underset{\theta }{\max }\log P(x|\theta )= \\ arg\underset{\theta }{\max }\log \prod _{i=1}^{n}p(x_i|\theta )=arg\underset{\theta }{\max }\sum _{i=1}^n\log p(x_i|\theta ) \end{gathered}$$
贝叶斯派的观点：参数$\theta$不是常量，而是一个服从某种概率分布的随机变量(r.v.)
$$\theta \backsim p(\theta )$$称之为先验概率。
借助贝叶斯定理将参数的先验和后验通过似然连接起来：$$P(\theta |X)=\frac{P(X|\theta )\cdot P(\theta )}{P(X)}$$$P(\theta |X)$称为后验概率，$P(X|\theta )$为‘似然’，$P(X)$实际上是随机变量X的分布函数，可以写成积分${\int }_{\theta }P(X|\theta )P(\theta )d\theta$。

引入另一种估计方法(maximum a posteriori, MAP, 最大后验概率估计)$${\theta }_{MAP}=arg\underset{\theta }{\max }P(\theta |X)=arg\underset{\theta }{\max }P(X|\theta )\cdot P(\theta )$$

贝叶斯预测：已知样本X与一个新样本$\hat{x}$，求$$P(\hat{x}|X)={\int }_{\theta }P(\hat{x}|\theta )P(X)d\theta ={\int }_{\theta }P(\hat{x}|\theta )P(\theta |X)d\theta$$

总结：
频率派的问题根本上是一个优化问题，设计一个模型，计算loss，降低loss的优化方法。
贝叶斯派的问题根本上是一个求积分的问题，通过蒙特卡洛采样等方法求解。

原视频链接

【机器学习】【白板推导系列】【合集 1～23】