机器学习实战篇(朴素贝叶斯)

朴素贝叶斯

---

优点

在数据较少的情况下仍然有效，可以处理多类别问题。

缺点

对于输入数据的准备方式较为敏感

适用数据类型

标称型数据

---

贝叶斯决策理论

w为特征，ci为分类

对于二分类:

 如果f(c1|w) > f(c2|w)，则属于类别1
 如果f(c2|w) > f(c1|w)，则属于类别2

---

文本分类

统计文本特征词汇,构建词汇表

def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

模型构建

文档词集模型:文本中的单词在词汇表中出现设为1，未出现设为0

####词集模型
def setOfWords2Vec(vocabList, inputSet):
    ####为每篇文章生成词集模型
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
    return returnVec

文档词袋模型:统计词汇表中的词汇在文档中的出现次数，未出现设为0

####词袋模型
def bagOfWords2Vec(vocabList, inputSet):
        ####为每篇文章生成词袋模型
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

构建分类器训练函数

def trainNB0(dataset, labels):
    ###dataset :每一行类似词汇表的矩阵，由setOfWords2Vec(),bagOfWords2Vec()生成，判断文件中的词在词汇表是否出现
    if not isinstance(dataset, np.ndarray):
        dataset = np.array(dataset)
    numTrainDocs = len(dataset)
    numWords = len(dataset[0])
    pC1 = sum(labels) / float(len(labels))
    # pC0WordNum = np.zeros(numWords)
    # pC1WordNum = np.zeros(numWords)
    # pC0WordCount = 0.0
    # pC1WordCount = 0.0
    ###防止某个概率值为0导致所有概率相乘为0
    pC0WordNum = np.ones(numWords)
    pC1WordNum = np.ones(numWords)
    pC0WordCount = 2.0
    pC1WordCount = 2.0
    for i in range(numTrainDocs):
        if labels[i] == 1:
            pC1WordNum += dataset[i]
            pC1WordCount += np.sum(dataset[i])
        else:
            pC0WordNum += dataset[i]
            pC0WordCount += np.sum(dataset[i])
    ####预防下溢出,由于太多过小的数相乘导致得不到正确答案
    ####ln(ab) = ln(a) + ln(b) 通过求对数可以避免 ， f(x) 与 ln(f(x)) 图像走势是一致的 
    pC0Vect = np.log(pC0WordNum / pC0WordCount)
    pC1Vect = np.log(pC1WordNum / pC1WordCount)
    return pC0Vect, pC1Vect, pC1

构建分类器

def classifyNB(docVec, pC0Vect, pC1Vect, pC1):
    ###docVec 由setOfWords2Vec(),bagOfWords2Vec()生成
    if not isinstance(docVec, np.ndarray):
        docVec = np.array(docVec)
    ###p = p(w0|ci) * p(w1|ci) * ... * p(wn|ci) * p(ci) / p(w0,w1,...wn)
    ###ln(p(w0|ci) * p(w1|ci) * ... * p(wn|ci) * p(ci)) = ln(p(w0|ci)) + ln(p(w1|ci)) + ... + ln(p(wn|ci)) + ln(p(ci))
    p1 = np.sum(docVec * pC1Vect) + np.log(pC1)
    p0 = np.sum(docVec * pC0Vect) + np.log(1 - pC1)
    if p1 > p0:
        return 1
    return 0