【统计学习方法读书笔记】（四）朴素贝叶斯法

终于到了贝叶斯估计这章了，贝叶斯估计在我心中一直是很重要的地位，不过发现书中只用了不到10页介绍这一章，深度内容后，发现贝叶斯估计的基础公式确实不多，但是由于正态分布在生活中的普遍性，贝叶斯估计才应用的非常多吧！
默认输入变量用$X$表示，输出变量用$Y$表示
概率公式描述：
$P(X=x)$：表示当$X=x$时的概率
$P(X=x|Y=c_k)$：表示当$Y=c_k$时，$X=x$的概率
贝叶斯法则：$$P(Y_i|X)=\frac{P(X|Y_i)P(Y_i)}{{\sum }_{j}P(X|Y_j)P(Y_j)}$$

1、什么是先验概率、后验概率？

先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。
后验概率是信息理论的基本概念之一。在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。

比如你抛了10次硬币，7次正面朝上，接下来问你正面朝上的概率是多少，你说70%，此时这个就是先验概率，它是我们从“以往”的经验中积累得到的。

• 条件独立性假设公式：$$P(X=x|Y=c_k)=\prod _{j=1}^{n}P(X^{(i)}=x^{(j)}|Y=c_k)$$
  后验概率一般是在已知先验概率的前提下，通过贝叶斯定理计算得到的。
• 后验概率计算公式：$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
  把条件独立性假设公式代入有$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(i)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(i)}=x^{(j)}|Y=c_k)}$$
  可以得到朴素贝叶斯分类器公式为：
• 朴素贝叶斯分类器：$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(i)}=x^{(j)}|Y=c_k)$$

2、什么是极大似然估计？

通俗解释：先估计一下模型的参数，然后计算得到实验结果的概率，概率越大，那么这个参数就可能越接近真实值。

• 先验概率$P=(Y=c_k)$的极大似然估计：$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$公式中的$I(y_i=c_k)$可以理解为是能够通过已知的时间结果中计算的概率，稍后可以通过第3题知道究竟是什么。
• 设第$j$个特征可能取值的集合为$\{a_{j1},a_{j2},...,a_{j{S}_j}\}$，条件概率$P(X^j=a_{jl}|Y=c_k)$的极大似然估计是：$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$$$j=1,2,...,n;l=1,2,...,S_j;k=1,2,....,K$$其中，$x_i^{(j)}$是第$i$个样本的第$j$个特征；$a_{jl}$是第$j$个特征可能取得第$l$个值；$I$为指示函数

3、试着由下表的训练数据学习一个朴素贝叶斯分类器并确定$x=(2,S{)}^T$的类标记$y$。表中$X^{(1)}$,$X^{(2)}$为特征，取值的集合分别为$A_1=\{1,2,3\}$,$A_2=\{S,M,L\}$，$Y$为类标记，$Y\in C=\{1,-1\}$。

	1	2	3	4	5	6	7	8	9
$X^{(1)}$	1	1	1	2	2	2	3	3	3
$X^{(2)}$	S	S	M	L	L	S	S	M	L
$Y$	1	1	1	-1	-1	1	-1	-1	-1

4、贝叶斯公式及贝叶斯估计算法？

5、贝叶斯估计与极大似然估计方法的比较？