sklearn基础（一）文本特征提取函数CountVectorizer()和TfidfVectorizer()
CountVectorizer()函数
CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。其思想是，先根据所有训练文本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(vocabulary list)，该方法又称为词袋法(Bag of Words)。
我们举一个例子：
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer texts=["orange banana apple grape","banana apple apple","grape", 'orange apple'] cv = CountVectorizer() cv_fit=cv.fit_transform(texts) print(cv.vocabulary_) print(cv_fit) print(cv_fit.toarray())
输出如下：
{'orange': 3, 'banana': 1, 'apple': 0, 'grape': 2} #这里是根据首字母顺序，将texts变量中所有单词进行排序，apple首字母为a所以 # 排第一，banana首字母为b所以排第二
(0, 2) 1 # (0, 2) 1 中0表示第一个字符串"orange banana apple grape"；2对应上面的'grape': 2；1表示出现次数1。整体理 # 解为第一字符串的顺序为二的词语在出现次数为1
(0, 0) 1
(0, 1) 1
(0, 3) 1
(1, 0) 2
(1, 1) 1
(2, 2) 1
(3, 0) 1
(3, 3) 1
[[1 1 1 1] # 第一个字符串，排名0,1,2,3词汇（apple，banana，grape，orange）出现的频率都为1
[2 1 0 0] #第二个字符串，排名0,1,2,3词汇（apple，banana，grape，orange）出现的频率为2,1,00
[0 0 1 0]
[1 0 0 1]]
TfidfVectorizer()函数
TfidfVectorizer()基于tf-idf算法。此算法包括两部分tf和idf，两者相乘得到tf-idf算法。
tf算法统计某训练文本中，某个词的出现次数，计算公式如下：
或 
idf算法，用于调整词频的权重系数，如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。
tf-idf算法=tf算法 * idf算法。
我们依旧采用上面的例子：
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer texts=["orange banana apple grape","banana apple apple","grape", 'orange apple'] cv = TfidfVectorizer() cv_fit=cv.fit_transform(texts) print(cv.vocabulary_) print(cv_fit) print(cv_fit.toarray())
输出如下：
{'orange': 3, 'banana': 1, 'apple': 0, 'grape': 2}
(0, 3) 0.5230350301866413 #（0,3）表示第一个字符串的orange词语，其TF=1/4，IDF中总样本和包含有改词的文档数，目 # 前也不知道是如何得出，望有知道的人能评论告之。最后得出结果0.5230350301866413
(0, 1) 0.5230350301866413
(0, 0) 0.423441934145613
(0, 2) 0.5230350301866413
(1, 1) 0.5254635733493682
(1, 0) 0.8508160982744233
(2, 2) 1.0
(3, 3) 0.7772211620785797
(3, 0) 0.6292275146695526
[[0.42344193 0.52303503 0.52303503 0.52303503]
[0.8508161 0.52546357 0. 0. ]
[0. 0. 1. 0. ]
[0.62922751 0. 0. 0.77722116]]