多项式朴素贝叶斯

TIME : 2018-05-17

sklearn.naive_bayes.MultinomialNB

---

当特征是离散的时候，使用多项式模型。多项式模型在计算先验概率P(yk)P(yk)和条件概率P(xi|yk)P(xi|yk)时，会做一些平滑处理，具体公式为：

image

N是总的样本个数，k是总的类别个数，NykNyk是类别为ykyk的样本个数，αα是平滑值

image

NykNyk是类别为ykyk的样本个数，n是特征的维数，Nyk,xiNyk,xi是类别为ykyk的样本中，第i维特征的值是xixi的样本个数，αα是平滑值

当α=1时，称作Laplace平滑，当0<α<1时，称作Lidstone平滑，α=0时不做平滑。

参数:

MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

• alpha：拉普拉修/Lidstone平滑参数,浮点型,可选项,默认1.0
• fit_prior：是否学习先验概率,布尔型,可选项,默认True
• class_prior：类先验概率,数组大小为(n_classes,),默认None

属性:

• class_log_prior_ ：各类标记的 平滑 先验概率 对数值，其取值与fit_prior和class_prior参数相关
• intercept_ ：其值和class_log_propr相同
• feature_log_prob_ ：指定类的各特征概率(条件概率)对数值,返回形状为(n_classes, n_features)数组
• coef_ ：其值和feature_log_prob相同
• class_count_ ：各类别对应的样本数，按类的顺序排序输出
• feature_count_：各类别各个特征出现的次数，返回形状为(n_classes, n_features)数组
  (n_classes, n_features):即"类别数"个行,"属性数"个列的矩阵
  [含义解释见下]

方法:

• predict_proba(X)
• score(X, y, sample_weight=None)
• set_params(**params)
• get_params(deep=True)
• partial_fit(X, y, classes=None, sample_weight=None)
• predict(X)
• predict_log_proba(X)

参数含义解释:

---

各个参数(附带属性"class_log_prior_"解释)

(1)指定 class_prior=[0.3,0.1,0.3,0.2] , fit_prior=True/False
class_log_prior_取值是class_prior转换成log后的结果[log(0.3),log(0.1),log(0.3),log(0.2)]

import numpy as np
from sklearn.naive_bayes import MultinomialNB

X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])

#exam1 #fit_prior为True
clf = MultinomialNB(alpha=2.0,fit_prior=True,class_prior=[0.3,0.1,0.3,0.2])
clf.fit(X,y)

print(clf.class_log_prior_)
print(np.log(0.3),np.log(0.1),np.log(0.3),np.log(0.2))

#exam2 #fit_prior为False
clf1 = MultinomialNB(alpha=2.0,fit_prior=False,class_prior=[0.3,0.1,0.3,0.2])
clf1.fit(X,y)

print(clf1.class_log_prior_)

>>output:
[-1.2039728  -2.30258509 -1.2039728  -1.60943791]
-1.20397280433 -2.30258509299 -1.20397280433 -1.60943791243
[-1.2039728  -2.30258509 -1.2039728  -1.60943791]

(2) class_prior=None , fit_prior=False
则各类标记的先验概率相同等于类标记总个数N分之一: P(c)=1/4

import numpy as np
from sklearn.naive_bayes import MultinomialNB

x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],
              [2,5,6,5],[3,4,5,6],[3,5,6,6]]) #样本属性数据
y = [1,1,4,2,3,3] #样本分类结果

clf = MultinomialNB(alpha=1.0,fit_prior=False,class_prior=None)
clf.fit(x,y)
print(clf.class_log_prior_)#总共4类,所以为log(1/4)
print(np.log(1/4)) 

>>output:
[-1.38629436 -1.38629436 -1.38629436 -1.38629436]  
-1.38629436112  

(3) class_prior=None , fit_prior=True
则各类标记的先验概率,等于各类标记个数除以各类标记个数之和

import numpy as np
from sklearn.naive_bayes import MultinomialNB

X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])

clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.fit(X,y)

print(clf.class_log_prior_)#按类标记1、2、3、4的顺序输出
print(np.log(2/6),np.log(1/6),np.log(2/6),np.log(1/6))

>>output:
[-1.09861229 -1.79175947 -1.09861229 -1.79175947]
-1.09861228867 -1.79175946923 -1.09861228867 -1.79175946923

属性含义解释:

---

属性 feature_log_prob_
条件概率 =(指定类下指定属性中值出现的次数+alpha)/(指定类下所有特征出现次数之和+类的可能取值个数*alpha)

#(clf见最上面的例子)
clf.feature_log_prob_  

##>>output:
array([[-2.01490302, -1.45528723, -1.2039728 , -1.09861229],  
       [-1.87180218, -1.31218639, -1.178655  , -1.31218639],  
       [-1.74919985, -1.43074612, -1.26369204, -1.18958407],  
       [-1.79175947, -1.38629436, -1.23214368, -1.23214368]])



#分类1计算过程
print(
np.log((1+1+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((2+3+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((3+4+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((4+4+2)/(1+2+3+4+1+3+4+4+4*2))  )
  
##>>output:
-2.01490302054 -1.45528723261 -1.20397280433 -1.09861228867  

#解释如下:
#alpha=2.0
#已知x为各个样本对应的向量,值的大小为出现次数
#因此对于分类1为第1,2两个样本,所以这两个向量相加
#得到 [指定类下指定属性中值出现的次数] :1+1,2+3,3+4,4+4
# [指定类下所有特征出现次数之和] 为1+1+2+3+3+4+4+4
# [类的可能取值个数] 4个属性,为4
x = np.array([[1,2,3,4],
              [1,3,4,4],
              [2,4,5,5],
              [2,5,6,5],
              [3,4,5,6],
              [3,5,6,6]]) #样本属性数据
y = [1,1,4,2,3,3] #样本分类结果

属性 class_count_ / feature_count_

clf.class_count_ 
>>output:
array([ 2.,  1.,  2.,  1.])

clf.feature_count_
>>output:
array([[  2.,   5.,   7.,   8.],  
       [  2.,   5.,   6.,   5.],  
       [  6.,   9.,  11.,  12.],  
       [  2.,   4.,   5.,   5.]])  

方法含义解释:

---

方法 fit(x,y)
x: 样本对应的向量(向量中各个值的大小为单词出现次数)
y: 各样本类别标签

>>>>>>>>>例子如下<<<<<<<<<<<<

(1)样本
x_ini : 一共6个样本

['my','my','my','has', 'dog', 'has'],
['not','not', 'take', 'him', 'dog', 'stupid'],
['my', 'cute'],
['stupid',  'garbage'],
[ 'my', 'steak', 'to', 'him'],
['quit',   'dog', 'stupid']]

(2)属性
将单词作为属性,值为单词出现次数
一共有12种单词:从样本中提取,得到12种

['garbage', 'to', 'has', 'him', 'quit', 'my', 'not', 'steak', 'cute', 'take', 'stupid', 'dog']

注'my'为第6个属性

(3)x: 样本向量
每个样本有12个属性值,值为对应单词在该样本中出现的次数
例如:第一个样本中"my"出现3次,那么在下面第6个值为3

[0, 0, 2, 0, 0, 3, 0, 0, 0, 0, 0, 1]
[0, 0, 0, 1, 0, 0, 2, 0, 0, 1, 1, 1]
[0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0]
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]
[0, 1, 0, 1, 0, 1, 0, 1, 0, 0, 0, 0]
[0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1]

(4)y: 类别标签

[0, 1, 0, 1, 0, 1]#第2,4,6个样本属于第1类   

>>>>>>>>>例子结束<<<<<<<<<<<<

方法 get_params(deep=True)
获取分类器的参数，以各参数字典形式返回

clf.get_params(True)  
>>output:
{'alpha': 2.0, 'class_prior': None, 'fit_prior': True}  

方法 partial_fit(X, y, classes=None, sample_weight=None)
对于数据量大时,提供增量式训练,在线学习模型参数,参数X可以是类似数组或稀疏矩阵
在第一次调用函数,必须制定classes参数,随后调用时可以忽略

import numpy as np
from sklearn.naive_bayes import MultinomialNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.partial_fit(x,y,classes=[1,2])
clf.partial_fit(x,y)

MultinomialNB(alpha=2.0, class_prior=None, fit_prior=True)

方法 predict(X)
在测试集X上预测，输出X对应目标值

clf.predict([[1,3,5,6],[3,4,5,4]])  
>>output:
array([1, 1])  

方法 predict_log_proba(X)
测试样本划分到各个类的概率对数值

import numpy as np
from sklearn.naive_bayes import MultinomialNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.fit(x,y)
MultinomialNB(alpha=2.0, class_prior=None, fit_prior=True)

clf.predict_log_proba([[3,4,5,4],[1,3,5,6]])

>>output:
array([[-1.27396027, -1.69310891, -1.04116963, -1.69668527],
       [-0.78041614, -2.05601551, -1.28551649, -1.98548389]])

方法 predict_proba(X)
输出测试样本划分到各个类别的概率值

clf.predict_proba([[3,4,5,4],[1,3,5,6]])  
output:
array([[ 0.27972165,  0.18394676,  0.35304151,  0.18329008],  
       [ 0.45821529,  0.12796282,  0.27650773,  0.13731415]])  

方法 score(X, y, sample_weight=None)
输出对测试样本的预测准确率的平均值

clf.score([[3,4,5,4],[1,3,5,6]],[1,1])  
>>output:
0.5  

方法 set_params(**params)
设置估计器的参数

clf.set_params(alpha=1.0)  
<=>
MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)