机器学习实战--4.朴素贝叶斯

1.朴素贝叶斯
优点：
（1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
（2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。
（3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。
缺点：
对输入数据的表达形式很敏感。
应用场景：文本分类、人脸识别、欺诈检测。
**2.核心思想：**选择具有最高概率的决策
3.贝叶斯概率：引入先验概率和逻辑推理处理不确定命题
**频数概率：**只从数据本身获得结论，不考虑逻辑推理和先验知识
3.朴素贝叶斯的假设
假设样本相互独立，每个特征同等重要
4.贝叶斯算法优化
（1）朴素贝叶斯分类，多个概率相乘，若一个概率值为0，最后的乘积为0。
解决办法：所有的词初始化为1，并将分母初始化为2
（2）下溢出。由于太多很小的数据相乘造成的。
解决办法：对乘积取自然对数
5.词集模型：每个词的出现与否作为一个特征。每个词只能出现一次。
词袋模型：一个词在文档中出现不止一次，可能意味着包含该词是否出现在文档不能表达的某种信息。每个单词可以出现多次。
交叉验证：随机选一部分作为训练集，而剩余部分作为测试集。