Python文本向量化入门（五）：自定义中文词袋

在文本向量化中，使用预训练的词向量，例如Word2Vec、GloVe或FastText等，是常见的做法。这些词向量已经在大量文本数据上进行了训练，为我们提供了现成的词嵌入表示。然而，有时候我们可能希望根据特定的任务或数据集来自定义词向量。这就需要我们自己构建一个词袋模型（Bag of Words）。

在之前的文章中，我们介绍了如何使用Python的CountVectorizer类将文本转换为词频矩阵。但是，CountVectorizer默认将所有文本都视为独立的词汇，而不会考虑中文的词语结构和语义关系。为了更好地处理中文文本，我们可以自定义一个中文词袋模型。

在自定义中文词袋模型之前，我们需要进行中文分词。幸运的是，Python中有一个非常流行的中文分词库——jieba。jieba提供了简单高效的分词功能，能够帮助我们将连续的字符序列切分成单独的词或词素。

首先，我们需要安装jieba库。可以使用pip命令进行安装：

pip install jieba

接下来，我们可以使用jieba对中文文本进行分词处理。以下是一个简单的示例：

import jieba  
  
# 中文文本  
text = "这是第一个文档。"  
  
# 使用jieba进行分词  
words = jieba.cut(text)  
  
# 输出分词结果  
print(" ".join(words))

在得到分词结果后，我们可以将其输入到CountVectorizer中，构建自定义的中文词袋模型。以下是一个完整的示例：

import jieba
from sklearn.feature_extraction.text import CountVectorizer

# 定义文本数据
documents = [
    '这是第一个文档。',
    '这是第二个文档。',
    '这是第三个文档。第三个文档有很多词，但有些词是重复的。',
]

# 使用jieba分词对文本进行预处理
documents = [' '.join(jieba.cut(doc)) for doc in documents]

# 定义自定义词汇表
custom_vocabulary = ['一','二','三','文档']

# 创建CountVectorizer对象
vectorizer = CountVectorizer(vocabulary=custom_vocabulary)

# 将分词结果转换为词频矩阵
vectorized_data = vectorizer.fit_transform(documents)

# 输出词频矩阵
print(vectorized_data.toarray())

# 输出默认的词袋（词汇表）
print(vectorizer.get_feature_names())

输出结果：

[[0 0 0 1]
 [0 0 0 1]
 [0 0 0 2]]
['一', '二', '三', '文档']