机器学习实战（代码部分）-- 朴素贝叶斯之垃圾邮件过滤（Ⅰ 准备数据：切分文本）

使用朴素贝叶斯进行垃圾邮件过滤的算法思想：

(1) 收集数据：提供文本文件。
(2) 准备数据：将文本文件解析成词条向量。
(3) 分析数据：检查词条确保解析的正确性。
(4) 训练算法：使用我们之前建立的trainNB0()函数。
(5) 测试算法：使用classifyNB()，并且构建一个新的测试函数来计算文档集的错误率。
(6) 使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上。

 

准备数据：切分文本

从文本文档中构建自己的词列表。

（1）若使用split方法切割文本：

if __name__ == "__main__":
    str = "Good morning, my friends!!!"
    print(str.split())      # ['Good', 'morning,', 'my', 'friends!!!']

可以切分出所有词，但是标点符号也被当成词的一部分。

（2）使用正则表达式切分：

import re

'''
    从字符串中提取出文本种的所有单词
    输入参数：
        str：要切分的文本
    返回值：
        文本中包含的词列表（全部转换为小写）
    [tok for tok in words_of_str if len(tok) > 0]：返回长度大于0的字符串，可以去除只有空格的字符串
'''
def get_words(str):
    words_of_str = re.split('\\W', str)
    return [tok.lower() for tok in words_of_str if len(tok) > 0]


if __name__ == "__main__":
    str = "Good morning, my friends!!!"
    print(" ********** 使用split切分字符串： ********** ")
    print(str.split())      # ['Good', 'morning,', 'my', 'friends!!!']

    print(get_words(str))   # ['good', 'morning', 'my', 'friends']

则可以切分出每个单词（不包括标点和空串），同时都把词汇转成小写。