机器学习之朴素贝叶斯（算法详细推导）

朴素贝叶斯

假设各属性变量之间相互独立，条件独立性假设不成立时，朴素贝叶斯分类器仍有可能产生最优贝叶斯分类器。

条件概率

$$P(A|B)=\frac{P(AB)}{P(B)}$$

极大似然估计

离散型——分布函数

假设样本服从二项分布

目标为

$$ma{x}_{\theta }P(X|\theta )$$

对于小概率事件来说：概率=频率

连续型——密度函数

假设样本服从高斯分布

期望=样本均值，方差=样本方差

MLE证明最小二乘法

最小二乘法的本质是选择一个y拟合效果最好，也就是选择w,b使得$y_i$. 尽可能对，也就是取到$y_i$ 的概率尽可能大，又由于每个点是独立的即使得密度函数尽可能大，即

$$ma{x}_{w,b}J(w,b)=\prod _{i=1}^{m}P(y_i|w,b)$$

而由于假设偏差${ϵ}_i$ ~$N(0,{\sigma }^2)$ ,则$y_i$~$N(w^T{x}_i+b,{\sigma }^2)$ ,则

$$P(y_{|}w,b)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-w^T{x}_i-b{)}^2}{2{\sigma }^2})$$

则对$J(w,b)$取2对数，得到

$$logJ(w,b)=\frac{-1}{\sqrt{2\pi }\sigma }\sum _i(y_i-w^T{x}_i-b{)}^2$$

则目标函数相当于

$$mi{n}_{w,b}\sum _i(y_i-w^T{x}_i-b{)}^2$$

例子：

由于${ϵ}_i$ ~$N(0,1)$,则$y_i$ ~$N(exp(w{x}_i),1)$ ，则

$$P(y_i|w,x_i)=\frac{1}{\sqrt{2\pi }}exp(-\frac{(y_i-exp(w{x}_i){)}^2}{2})$$

则极大似然函数J为

$$\begin{gathered} J(w)=\prod _{i=1}^{m}P(y_i|w,x_i) \\ =(\frac{1}{\sqrt{2\pi }}{)}^m\prod _{i=1}^{m}exp(-\frac{(y_i-exp(w{x}_i){)}^2}{2}) \end{gathered}$$

则求对数似然函数log J

$$logJ(w)=D\cdot \frac{1}{2}\sum _{=1}^m(y_i-exp(w{x}_i){)}^2$$

则对对数似然函数求导得

$$\frac{\partial logJ}{\partial w}=-\sum _{i=1}^m{x}_{i}exp(w{x}_i)(y_i-exp(w{x}_i))$$

再令对数=0求解w

贝叶斯公式

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

朴素贝叶斯方法

$$argma{x}_{k}P(Y=k)\prod _{j=1}^{n}P(X_j=x_j|Y=k)$$

假设

• 每个特征相互独立
• 每个实例相互独立
• 训练集的分布和测试集的分布一致

平滑法

对于某个数据集，由于数据的稀疏性，我们考虑到对于某个特征X在训练集中没有出现，那么将会导致整个分类概率变为0，这将会导致分类变得非常不合理，所以为了解决零概率的问题，避免过拟合。需要通过平滑法来解决

Epsilon 平滑法

• 将$P(x_m$|$y)=0$ 替换为$P(x_m$|$y)=ϵ$ , 其中$ϵ$远小于$\frac{1}{N}$​$(N是训练集样本数)

Laplace 平滑法/加法平滑

• 假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以通过减少方差来方便有效的避免零概率问题。

• 在实际的使用中也经常使用加 $\alpha$（$1\ge \alpha \ge 0$）来代替简单加1。

  $$P(X_j=x_j|Y=k)=\frac{\alpha +\text{count}(Y=k,X_j=x_j)}{M\alpha +\text{count}(Y=k)}.$$

  其中M是$X_j$取值类别数。

• 当训练集很小的时候，概率变化剧烈；当数据集大的时候，变化不大。

• 减少方差(various)，增大偏差(bias)