NLP文本的离散表示

文本的离散表示(2022-03-07)

  • one-hot表示
  • 词袋模型
  • TF-IDF
  • N-gram
image.png

image.png

one-hot表示


"""
oneHotencoder举例
"""

from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])#fit来学习编码
res=enc.transform([[0,1,3]]).toarray()#结果转化为数组
print(res)
image.png

词袋模型

image.png

image.png
"""
词袋模型
"""

from sklearn.feature_extraction.text import CountVectorizer

texts = ["orange banana apple grape","banana apple apple","grape","orange apple"]
cv =CountVectorizer()#统计词频(词袋模型)
cv_fit = cv.fit_transform(texts)# 训练文本
print(cv.vocabulary_)
print(cv_fit)#训练后的结果在矩阵中有值内容
print(cv_fit.toarray())#以后在做模型训练时,我们应该使用数组的模
image.png

TF-IDF

image.png

image.png
"""
词频逆文档频率
"""

from sklearn.feature_extraction.text import TfidfVectorizer

texts = ["orange banana apple grape","banana apple apple","grape","orange apple"]

cv = TfidfVectorizer()
cv_fit = cv.fit_transform(texts)#训练样本
print(cv.vocabulary_)#打印词汇表:4个单词,apple,banana,grape,orange
print(cv_fit)#非零的词权重
print(cv_fit.toarray)#数组形式

N-gram

N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。

image.png
"""
n_garm
"""

from sklearn.feature_extraction.text import CountVectorizer

texts = ["orange banana apple grape",
         "banana apple apple",
         "grape",
         "orange apple"]
ngram_vectorizer =CountVectorizer(ngram_range=(1,3),
                                  decode_error="ignore",
                                  token_pattern=r'\b\w+\b',
                                  min_df=1)


x1 = ngram_vectorizer.fit_transform(texts)
print(x1.toarray())
print(ngram_vectorizer.vocabulary_)


你可能感兴趣的:(NLP文本的离散表示)