最大似然法求解k分类朴素贝叶斯模型

建模

1)假设目标变量服从项式分布:
p(y; \phi_1, \cdots, \phi_{k-1}) = \prod_{s=0}^{k} \phi_{s}^{ \mathbf{1} \{ y = s \} } = (1 - \sum_{s=1}^{k-1} \phi_{s})^{1 - \sum_{s=1}^{k-1} \mathbf{1} \{ y = s \} } \cdot \prod_{s=1}^{k-1} \phi_{s}^{ \mathbf{1} \{ y = s \} }

其中 是指示函数,满足。

2)[朴素Bayes假设] 特征向量的每一个分量之间,对于给定的,是彼此独立的。即

3)设第个特征可能的取值集合为,共种可能。

全部模型参数,

对数似然函数

最大化对数似然函数

未完待续

你可能感兴趣的:(最大似然法求解k分类朴素贝叶斯模型)