统计学习方法第四章课后习题（转载+重新排版+自己解读）

4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式(4.8)和条件概率估计公式(4.9)

首先是(4.8)
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
###################下面开始证明###############################
下面的$a_{jl}$表示的是第j个特征可能取的第$l$个值
$x_i^{（j）}$指的是第j个样本的第j个特征
$$P(x^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{{\sum }_{1=1}^N(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(Y=c_k)}$$
设$p=P(Y=c_k)$
相当于从样本中独立同分布地随机抽取N个样本，每个样本的结果为$y_i$

似然概率
$P(y_1,y_2,...,y_n)$
$=p^{{\sum }_{i=1}^N\cdot I(y_i=c_k)}\cdot (1-p{)}^{{\sum }_{i=1}^{N}I(y_i̸=c_k)}$
然后求解最大似然概率：
$$\frac{dP(y_1,y_2,...,y_n)}{dp}$$
$$=\sum _{i=1}^{N}I(y_i=c_k)p^{{\sum }_{i=1}^{N}I(y_i=c_k)-1}\cdot (1-p{)}^{{\sum }_{i=1}^{N}I(y_i̸=c_k)}$$
$$-\sum _{i=1}^{N}I(y_i̸=c_k)(1-p{)}^{{\sum }_{i=1}^{N}I(y_i̸=c_k)-1}\cdot p^{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

$$=p^{[{\sum }_{i=1}^{N}I(y_i=c_k)]-1}\cdot (1-p{)}^{[{\sum }_{i=1}^{N}I(y_i̸=c_k)]-1}$$
$$\cdot [(1-p)\sum _{i=1}^{N}I(y_i=c_k)-p\sum _{i=1}^{N}I(y_i̸=c_k)]=0$$

$$\therefore [(1-p)\sum _{i=1}^{N}I(y_i=c_k)-p\sum _{i=1}^{N}I(y_i̸=c_k)]=0$$
$$又\because {\Sigma }_i^{N}I(y_i=c_k)=p(\sum _{i=1}^{N}I(y_i=c_k)+\sum _{i=1}^{N}I(y_i̸=c_k))=pN$$

$$\therefore p=P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}①$$
(4.8)证明结束
###############################################
接下来证明(4.9)
$$P(X^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$$j\in [1,n]$$
$$l\in [1,S_j]$$
$$k\in [1,K]$$
##############下面开始证明#########
$$P(Y=c_k,x^{(j)}=a_{ij})$$
$$=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{N}②$$
而需要证明的式子的左边是：
$$P(x^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{P(Y=c_k,x^{(j)}=a_{jl})}{P(Y=c_k)}③$$
接下来，
把①代入③的分母，
把②代入③的分子。
得到：
$$P(x^{(j)}=a_{jl}|Y=c_k)=\frac{[\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{N}]}{[\frac{{\sum }_{j=1}^{N}I(y_i=c_k)}{N}]}$$

$$=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

(4.9)证明结束

#######下面开始证明(4.11)########################
假设先验概率为均匀概率，那么有：
$$p=\frac{1}{k}=>pK-1=0(1)$$
另外根据①，也就是式(4.8)有以下关系：
$$pN-\sum _{i=1}^{N}I(y_i=c_k)=0（2）$$
注意：严格来讲，上面（1）（2）中p，并不是同一个p
（1）中的p指的是样本分布绝对均匀的情况
（2）中的p是根据实际样本分布得到的数值
$$(1)\cdot \lambda +(2)=0$$
∴
$$\lambda (pK-1)+pN-\sum _{i=1}^{N}I(y_i=c_k)=0$$
$$P(Y=c_k)=\frac{\lambda +{\sum }_{i=1}^{N}I(y_i=c_k)}{\lambda K+N}$$
(4.11)证明完毕
###############################

#######下面开始证明(4.10)########
根据(4.9)已知极大似然估计为：
$$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$=>$$p{\sum }_{i=1}^{N}I(y_i=c_k)-{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)=0$(3)

可以看到(4.10)与(4.9)十分相似，
但是(4.10)比(4.9)的分子和分母多了平滑项。
我们引入一个平滑条件：
当$Y=c_k$时，因为一个属性会有$S_j$种取值，我们假设任意属性的各个取值的对应的样本数量是一致的。
那么就有以下关系：
$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{1}{S_j}$
$=>$$p\cdot S_j-1=0(4)$
$=>$$(3)+\lambda (4)=0$
$=>$
$(3)+\lambda (4)=p[{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\cdot \lambda ]-\lambda -{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)=0$
$=>$

$$p=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\cdot \lambda }$$
(4.10)证明完毕