【NLP入门教程】十一、词袋模型与TF-IDF

在自然语言处理中，词袋模型（Bag-of-Words Model）是一种简单而常用的文本表示方法。它将文本视为一组词汇的无序集合，忽略了词序和语法结构，仅关注文本中的词汇出现的频率。而TF-IDF（Term Frequency-Inverse Document Frequency）则是一种用于评估文本中词语重要性的统计方法，常用于文本挖掘和信息检索任务中。

1. 词袋模型（Bag-of-Words Model） 词袋模型是一种简化的文本表示方法，它假设文本中的词语是独立的，只考虑词汇的出现频率，而不关注词汇的顺序和上下文信息。以下是使用词袋模型表示文本的基本步骤：

   • 构建词汇表：将所有文本中出现的词汇收集起来构成一个词汇表。
   • 特征向量表示：对于每个文本，将其转化为一个特征向量，向量的每个维度表示词汇表中对应词汇的出现次数或频率。

   例如，假设有以下两个句子作为示例文本：

   • 句子1：我喜欢学习自然语言处理。
   • 句子2：我喜欢阅读有趣的书籍。

   构建词汇表：{‘我’, ‘喜欢’, ‘学习’, ‘自然语言处理’, ‘阅读’, ‘有趣’, ‘的’, ‘书籍’} 特征向量表示：

   • 句子1：[1, 1, 1, 1, 0, 0, 0, 0]
   • 句子2：[1, 1, 0, 0, 1, 1, 1, 1]

   可以看到，特征向量中的每个维度代表词汇表中对应词汇的出现次数或频率。

2. TF-IDF（Term Frequency-Inverse Document Frequency） TF-IDF是一种用于评估文本中词语重要性的统计方