卷积神经网络训练情感分析

文章目录

  • 1 CNN在自然语言的典型应用
  • 2 代码解释
  • 3 建议

1 CNN在自然语言的典型应用

  • 卷积的作用在于利用文字的局部特征,一个词的前后几个词必然和这个词本身相关,这组成该词所代表的词群
  • 词群进而会对段落文字的意思进行影响,决定这个段落到底是正向,还是负向
  • 深度学习中的卷积让神经网络去构造特征
  • 下面介绍用Keras搭建卷积神经网络来处理情感分析的分类问题

2 代码解释

  • Sequential(): 这个语句初始化了一个空的顺序模型。顺序模型是线性的,意味着你可以逐层添加,每一层都按顺序连接到前一层。
    通常情况下,你会在这一行之后添加额外的代码行,以向模型中添加层。
  • Embedding: 这是 Keras 中的一个嵌入层。嵌入层通常用于将整数序列(例如文本中的单词索引)映射为密集向量的序列。在自然语言处理中,这常用于将单词嵌入到连续向量空间中。
  • vocab_size: 这是词汇表的大小,表示模型能够处理的不同单词的数量。
  • 64: 这是嵌入向量的维度,即每个单词将被嵌入到一个64维的向量空间中。
  • input_length: 这是输入序列的长度,指定了输入数据的每个样本有多少个时间步(时间步是序列中的单个元素)。在自然语言处理中,它通常对应于文本序列的最大长度。
  • 全部代码
from keras.datasets import imdb
from keras.layers import Dense,Dropout,Activation,Flatten
from keras.layers import Conv1D,MaxPooling1D
from keras.layers import Embedding
from keras.models import Sequential
from keras.preprocessing import sequence
import numpy as np

maxword = 400
(x_train,y_train),(x_test,y_test) = imdb.load_data()
x_train = sequence.pad_sequences(x_train,maxlen=maxword)
x_test = sequence.pad_sequences(x_test,maxlen=maxword)
vocab_size = np.max([np.max(x_train[i]) for i in range(x_train.shape[0])])+1
model = Sequential()
model.add(Embedding(vocab_size,64,input_length = maxword))

model.add(Conv1D(filters=64,kernel_size=3,padding='same',activation='relu'))

model.add(MaxPooling1D(pool_size=2))
model.add(Dropout(0.25))

model.add(Conv1D(filters=128,kernel_size=3,padding='same',activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(Dropout(0.25))
model.add(Flatten)
model.add(Dense(64,activation='relu'))
model.add(Dense(32,activation='relu'))
model.add(Dense(1,activation='sigmoid'))
model.compile(loss='binary_crossentropy',optimizer='rmsprop',epochs = 20,batch_size = 100)
scores = model.evaluate(x_test,y_test,verbose=1)
print(scores)

3 建议

  • 可以试着调整模型的参数,增加训练次数等,或者使用其他的优化方法
  • 代码里面用了一个Dropout的技巧,大致意思是在每个批量训练过程中,对每个节点,不论是在输入层,还是隐藏层,都有独立的概率让节点变成0
  • 这样的好处是,每次批量训练相当于在不同的小神经网络中进行计算,当训练数据大的时候,每个节点的权重都会被调整多次
  • 在每次训练的时候,系统会努力在有限的节点和小神经网络中找到最佳的权重,这样可以最大化的找到重要特征,避免过度拟合,这就是为什么Dropout会得到广泛的应用

你可能感兴趣的:(cnn,人工智能,神经网络)