深度学习|中文文本的分类（建模篇）
前言
上回我们处理好了中文文本，具体的步骤如下：
- 数据情况
- 中文文本分词
- 建立token
- token转换为列表
- 统一长度
那这篇文章我们就使用MLP和LSTM模型来训练我们的数据。
MLP建模
模型结构
- 嵌入层：用于转换为向量列表（NLP知识点）
- 平坦层
- 隐藏层
- 输出层
建立模型
from keras.models import Sequential
from keras.layers import Dense,Dropout,Embedding,Flatten
model = Sequential()
model.add(Embedding(output_dim=32,
input_dim=10000,
input_length=100))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(units=256,
activation='relu' ))
model.add(Dropout(0.2))
model.add(Dense(units=1,
activation='sigmoid' ))
训练模型
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])
train_history =model.fit(X_train, y_train,batch_size=100,
epochs=10,verbose=2,
validation_split=0.2)
测试
scores = model.evaluate(X_test, y_test, verbose=1)
scores[1]
# result 0.7925
LSTM建模
LSTM模型是一种递归神经网络，用来解决RNN的长期依赖问题的。
模型结构
- 嵌入层：用于转换为向量列表（NLP知识点）
- LSTM层
- 隐藏层
- 输出层
建立模型
from keras.models import Sequential
from keras.layers import Dense,Dropout,Embedding,Flatten,LSTM
model = Sequential()
model.add(Embedding(output_dim=32,
input_dim=10000,
input_length=100))
model.add(Dropout(0.2))
model.add(LSTM(32))
model.add(Dense(units=256,
activation='relu' ))
model.add(Dropout(0.2))
model.add(Dense(units=1,
activation='sigmoid' ))
训练模型
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])
train_history =model.fit(X_train, y_train,batch_size=100,
epochs=10,verbose=2,
validation_split=0.2)
测试
scores = model.evaluate(X_test, y_test, verbose=1)
scores[1]
# result 0.8025