使用 CountVectorizer 计算字数

CountVectorizer不同于bagofword的地方在于其不光对单词索引编码，还统计每一个单词出现的次数，提供了一个简单的方法，既可以标记文本文档的集合, 也可以生成每个已知单词的索引, 还可以使用这一套索引对新文档进行编码。

下面是一种使用方法：

实例化一个CountVectorizer类。

调用fit()函数以从一个或多个文档中建立索引。

根据需要在一个或多个文档中调用transform()函数，将每个文档编码为一个向量。

最终会返回一个已编码的向量, 其长度为索引的个数，该向量还携带有文档中每个单词出现的次数信息。

包含很多零的向量被称为稀疏向量。Python 的scipy.sparse包中提供了一种处理稀疏向量的有效方法。

调用 transform() 返回的向量是稀疏向量，这里可以通过调用 toarray() 函数将它们转换回 numpy 数组以便查看并更好地理解这个过程。

下面是使用 CountVectorizer 标记，构建索引，然后编码文档的示例。

from sklearn.feature_extraction.text import CountVectorizer

# 下面是一个文本文档的列表

text = ["The quick brown fox jumped over the lazy dog."]

# 实例化 CountVectorizer 类

vectorizer = CountVectorizer()

# 标记并建立索引

vectorizer.fit(text)

# 查看结果

print(vectorizer.vocabulary_)

# 编码文档

vector = vectorizer.transform(text)

# 查看编码后的向量

print(vector.shape)

print(type(vector))

print(vector.toarray())

在上面的代码中，如下一行是用来帮助我们访问这个索引并查看标记的结果的：

print(vectorizer.vocabulary_)

我们可以看到，所有的单词默认都是小写字母，标点符号也被忽略了。标记的许多方面都是可以配置的，您可以查看API文档中的所有选项。

运行示例之后，首先输出的是索引，然后输出的是编码文档的结构。我们可以看到索引中有8个词，因此编码向量长度为 8。

从接下来输出的类型中可以看出，编码向量是一个稀疏向量。而最后的输出是编码向量的数组版本，其表达的含义是，索引值为 7 的单词出现次数为 2，其余单词出现次数为 1。

{‘dog‘:1,‘fox‘:2,‘over‘:5,‘brown‘:0,‘quick‘:6,‘the‘:7,‘lazy‘:4,‘jumped‘:3}

(1,8)[[11111112]]

重要的是，同一个矢量化器可以用在包含词汇表中没有包括的单词的文档上。不过，没有包括的词会被忽略，并且不会在结果向量中计数。

举个例子，下面是使用上述向量化器对另一个文档进行编码的例子。这个文本文档包含两个词，一个词包含在索引中，另一个不包含在索引中。

tfidf与CountVectorizer详解