keras.preprocessing.sequence.pad_sequences

pad_sequences

pad_sequences 一般与keras.processing.text中的序列连用,用于给长度少于某个值的数列补零。

from keras.preprocessing.text import Tokenizer#文本标记实用类,允许使用两种方法向量化一个文本语料库:将每个文本转化为一个整数序列(每个整数都是词典中标记的索引);或转化为一个向量,每个标记系数可以是二进制值、词频、TF-IDF权重等。
from keras.preprocessing.sequence import pad_sequences
text = ['符于香 违反 群众 纪律,利用 职务 便利。']
text_tokenizer = Tokenizer()
text_tokenizer.fit_on_texts(text)
sequence = text_tokenizer.texts_to_sequences(text)
#sequences = [[1 2 3 4 5 6]]此处的sequences是sequences类不是列表
pad_sequences(sequence,maxlen=10,padding="post",truncating="post")

sequences = pad_sequences(sequences,maxlen=10,padding="post",truncating="post")

结果为:

[[1 2 3 4 5 6 0 0 0 0]]

你可能感兴趣的:(keras,自然语言处理)