一文读懂keras文本预处理

本文四个图,第四个图最重要(要用到一个名叫Tokenizer类中的.texts_to_matrix(textList, mode="tfidf"))

原因如下: 可以很方便的将文本序列(每篇档分过词,每篇序列用空格作为分隔符并join在一起的语料列表)转化为向量矩阵。而这正是NLP预处理中非常关键的一步。

一文读懂keras文本预处理_第1张图片
图一、
一文读懂keras文本预处理_第2张图片
图二、one-hot


一文读懂keras文本预处理_第3张图片
图三、hash_trick
一文读懂keras文本预处理_第4张图片
图四 Tokenizer类的使用

你可能感兴趣的:(一文读懂keras文本预处理)