深度学习（四）Keras搭建神经网络实战文本情感分类
本文内容：
1.Keras核心组件
2.使用Keras构建神经网络解决文本情感分类问题
本节将进一步介绍神经网络的核心组件，即层、网络、目标函数和优化器和Keras，我们将用三个介绍性示例深入讲解如何使用神经网络解决实际问题， 这三个示例分别是:
- 将电影评论划分为正面或负面(二分类问题)
- 将新闻按主题分类(多分类问题)
- 根据房地产数据估算房屋价格(回归问题)
1.神经网络剖析
前面几章介绍过，训练神经网络主要围绕以下四个方面。 �
- 层，多个层组合成网络(或模型)。
- 输入数据和相应的目标。
- 损失函数，即用于学习的反馈信号。
- 优化器，决定学习过程如何进行。
你可以将这四者的关系可视化，如图所示:多个层链接在一起组成了网络，将输入数 据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预 测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。
1.1 层:深度学习的基础组件
我们在前面介绍过，神经网络的基本数据结构是层。层是一个数据处理模块，将一个 或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的， 即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。
不同的张量格式与不同的数据处理类型需要用到不同的层。例如，简单的向量数据保存在 形状为 (samples, features) 的 2D 张量中，通常用密集连接层[densely connected layer，也 叫全连接层(fully connected layer)或密集层(dense layer)，对应于 Keras 的 Dense 类]来处 理。序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中，通常用循环 层(recurrent layer，比如 Keras 的 LSTM 层)来处理。图像数据保存在 4D 张量中，通常用二维 卷积层(Keras 的 Conv2D)来处理。
你可以将层看作深度学习的乐高积木，Keras 等框架则将这种比喻具体化。在 Keras 中，构 建深度学习模型就是将相互兼容的多个层拼接在一起，以建立有用的数据变换流程。这里层兼 容性(layer compatibility)具体指的是每一层只接受特定形状的输入张量，并返回特定形状的输 出张量。看看下面这个例子。
from keras import layers
layer = layers.Dense(32, input_shape=(784,))#逗号表示后面是不定个 所以是（784，uncertain）的二维张量
我们创建了一个层，只接受第一个维度大小为 784 的 2D 张量(第 0 轴是批量维度，其大 小没有指定，因此可以任意取值)作为输入。这个层将返回一个张量，第一个维度的大小变成 了 32。
因此，这个层后面只能连接一个接受 32 维向量作为输入的层。使用 Keras 时，你无须担心兼容性，因为向模型中添加的层都会自动匹配输入层的形状，例如下面这段代码。
from keras import models from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, input_shape=(784,)))
model.add(layers.Dense(32))
其中第二层没有输入形状(input_shape)的参数，相反，它可以自动推导出输入形状等 于上一层的输出形状。
1.2 模型:层构成的网络
深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射 为单一输出。
但随着深入学习，你会接触到更多类型的网络拓扑结构。一些常见的网络拓扑结构如下。 �
- 双分支(two-branch)网络
- 多头(multihead)网络
- Inception 模块
网络的拓扑结构定义了一个假设空间(hypothesis space)。你可能还记得机器学习的定义:“在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。” 选定了网络拓扑结构，意味着将可能性空间(假设空间)限定为一系列特定的张量运算，将输入数据映射为输出数据。然后，你需要为这些张量运算的权重张量找到一组合适的值。
选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳实践和原则，但只有动 手实践才能让你成为合格的神经网络架构师。学习构建神经网络的详细原则，也会帮你建立直觉，明白对于特定问题哪些架构有用、哪些架构无用。
1.3 损失函数与优化器:配置学习过程的关键
一旦确定了网络架构，你还需要选择以下两个参数。
- 损失函数(目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
- 优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体
具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是，梯度下降过程必须基于单个标量损失值。因此，对于具有多个损失函数的网络，需要将所有损失 函数取平均，变为一个标量值。
选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化，因此， 如果目标函数与成功完成当前任务不完全相关，那么网络最终得到的结果可能会不符合你的预 期。想象一下，利用 SGD 训练一个愚蠢而又无所不能的人工智能，给它一个蹩脚的目标函数:“将 所有活着的人的平均幸福感最大化”。为了简化自己的工作，这个人工智能可能会选择杀死绝大 多数人类，只留几个人并专注于这几个人的幸福——因为平均幸福感并不受人数的影响。这可 能并不是你想要的结果!请记住，你构建的所有神经网络在降低损失函数时和上述的人工智能 一样无情。因此，一定要明智地选择目标函数，否则你将会遇到意想不到的副作用。
幸运的是，对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选 择正确的损失函数。例如，对于二分类问题，你可以使用二元交叉熵(binary crossentropy)损失函数;对于多分类问题，可以用分类交叉熵(categorical crossentropy)损失函数;对于回归问题，可以用均方误差(mean-squared error)损失函数;对于序列学习问题，可以用联结主义时序分类(CTC，connectionist temporal classification)损失函数，等等。只有在面对真正全新的 研究问题时，你才需要自主开发目标函数。
我们应该掌握各种常见任务应选择哪种损失函数。
2.Keras 简介
Keras开发流程
你已经见过一个 Keras 模型的示例，就是 MNIST 的例子。典型的 Keras 工作流程就和那个 例子类似。
(1) 定义训练数据:输入张量和目标张量。
(2) 定义层组成的网络(或模型)，将输入映射到目标。
(3) 配置学习过程:选择损失函数、优化器和需要监控的指标。
(4) 调用模型的fit方法在训练数据上进行迭代。
定义模型有两种方法:一种是使用 Sequential 类(仅用于层的线性堆叠，这是目前最常见的网络架构)，另一种是函数式 API(functional API，用于层组成的有向无环图，让你可以构 建任意形式的架构)。
前面讲过，这是一个利用 Sequential 类定义的两层模型(注意，我们向第一层传入了输 入数据的预期形状)。
from keras import models from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))
下面是用函数式 API 定义的相同模型。
input_tensor = layers.Input(shape=(784,))
x = layers.Dense(32, activation='relu')(input_tensor) output_tensor = layers.Dense(10, activation='softmax')(x)
model = models.Model(inputs=input_tensor, outputs=output_tensor)
利用函数式 API，你可以操纵模型处理的数据张量，并将层应用于这个张量，就好像这些 层是函数一样。
一旦定义好了模型架构，使用 Sequential 模型还是函数式 API 就不重要了。接下来的步 骤都是相同的。
配置学习过程是在编译这一步，你需要指定模型使用的优化器和损失函数，以及训练过程 中想要监控的指标。下面是单一损失函数的例子，这也是目前最常见的。
from keras import optimizers
model.compile(optimizer=optimizers.RMSprop(lr=0.001), loss='mse',
metrics=['accuracy'])
最后，学习过程就是通过 fit() 方法将输入数据的 Numpy 数组(和对应的目标数据)传 入模型，这一做法与 Scikit-Learn 及其他机器学习库类似。
model.fit(input_tensor, target_tensor, batch_size=128, epochs=10)
哪种类型的网络架构适合解决 哪种类型的问题?如何选择正确的学习配置?如何调节模型使其给出你想要的结果?
下面我们将深入讲解 Keras 示 例
电影评论分类:二分类问题
本节使用 IMDB 数据集，它包含来自互联网电影数据库(IMDB)的 50 000 条严重两极分 化的评论。数据集被分为用于训练的 25 000 条评论与用于测试的 25 000 条评论，训练集和测试 集都包含 50% 的正面评论和 50% 的负面评论。
为什么要将训练集和测试集分开?因为你不应该将训练机器学习模型的同一批数据再用于测试模型!模型在训练数据上的表现很好，并不意味着它在前所未见的数据上也会表现得很好， 而且你真正关心的是模型在新数据上的性能(因为你已经知道了训练数据对应的标签，显然不再需要模型来进行预测)。例如，你的模型最终可能只是记住了训练样本和目标值之间的映射关系，但这对在前所未见的数据上进行预测毫无用处。
与 MNIST 数据集一样，IMDB 数据集也内置于 Keras 库。它已经过预处理:评论(单词序列) 已经被转换为整数序列，其中每个整数代表字典中的某个单词。
下列代码将会加载 IMDB 数据集(第一次运行时会下载大约 80MB 的数据)。
from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data( num_words=10000)
参数 num_words=10000 的意思是仅保留训练数据中前 10 000 个最常出现的单词。低频单词将被舍弃。这样得到的向量数据不会太大，便于处理。
train_data 和 test_data 这两个变量都是评论组成的列表，每条评论又是单词索引组成的列表(表示一系列单词)。train_labels 和 test_labels 都是 0 和 1 组成的列表，其中 0 代表负面(negative)，1 代表正面(positive)。
下面这段代码很有意思，你可以将某条评论迅速解码为英文单词.
word_index=imdb.get_word_index()
reverse_word=dict(
[(value,key) for (key,value) in word_index.items()])
#reverse_word
decode_view=' '.join([reverse_word.get(i-3,'') for i in train_data[0]])
#将评论解码。注意，索引减去了 3，因为 0、1、2 为“padding”(填充)、“start of sequence”(序列开始)、“unknown”(未知词)分别保留的索引
2.1准备数据
你不能将整数序列直接输入神经网络。你需要将列表转换为张量。转换方法有以下两种。
- 填充列表，使其具有相同的长度，再将列表转换成形状为 (samples, word_indices) 的整数张量，然后网络第一层使用能处理这种整数张量的层(即 Embedding 层）
- 对列表进行 one-hot 编码，将其转换为 0 和 1 组成的向量。举个例子，序列 [3, 5] 将会被转换为 10 000 维向量，只有索引为 3 和 5 的元素是 1，其余元素都是 0。然后网络第一层可以用 Dense 层，它能够处理浮点数向量数据。
下面我们采用后一种方法将数据向量化。为了加深理解，你可以手动实现这一方法，如下
import numpy as np
def vectorize(sequences,dimension=10000):
result=np.zeros((len(sequences),dimension))#创建一个（len（sequence），10000）的向量，句子数量*单词序列 有这个单词该值为1
for i,sequence in enumerate(sequences):
result[i,sequence]=1
return result
x_train=vectorize(train_data)
x_test=vectorize(test_data)
接下来把标签向量化
y_train=np.asarray(train_label).astype('float32')
y_test=np.asarrau(test_label).astype('float32')
现在可以把数据输入到网络中
我们需要留下一部分数据作为验证数据,为了在训练过程中监控模型在前所未见的数据上的精度，你需要将原始训练数据留出 10 000个样本作为验证集。
x_val=x_train[:10000]
partial_x=x_train[10000:]
y_val=y_train[:10000]
partial_y=y_train[10000:]
2.2构建网络模型
输入数据是向量，而标签是标量(1 和 0)，这是你会遇到的最简单的情况。有一类网络在这种问题上表现很好，就是带有 relu 激活的全连接层(Dense)的简单堆叠，比如 Dense(16, activation='relu')。传入 Dense 层的参数(16)是该层隐藏单元的个数。一个隐藏单元(hidden unit)是该层表示空间的一个维度。
16 个隐藏单元对应的权重矩阵 W 的形状为 (input_dimension, 16)，与 W 做点积相当于 将输入数据投影到 16 维表示空间中(然后再加上偏置向量 b 并应用 relu 运算)。你可以将表 示空间的维度直观地理解为“网络学习内部表示时所拥有的自由度”。隐藏单元越多(即更高维 的表示空间)，网络越能够学到更加复杂的表示，但网络的计算代价也变得更大，而且可能会导 致学到不好的模式(这种模式会提高训练数据上的性能，但不会提高测试数据上的性能)。
对于这种 Dense 层的堆叠，你需要确定以下两个关键架构:
- 网络有多少层;
- 每层有多少个隐藏单元。 4 第 4 章中的原则将会指导你对上述问题做出选择。现在你只需要相信我选择的下列架构:
- 两个中间层，每层都有 16 个隐藏单元;
-
第三层输出一个标量，预测当前评论的情感。
中间层使用 relu 作为激活函数，最后一层使用 sigmoid 激活以输出一个 0~1 范围内的概率值(表示样本的目标值等于 1 的可能性，即评论为正面的可能性)。relu(rectified linear unit， 整流线性单元)函数将所有负值归零(下图)，而 sigmoid 函数则将任意值“压缩”到 [0, 1] 区间内(下图，其输出值可以看作概率值。
relu函数
image.png
最后的model.summary()可以查看模型结构和各层参数。
from keras import layers
from keras import models
model=models.Sequential()
model.add(layers.Dense(16,activation='relu',input_shape=(10000,)))
model.add(layers.Dense(16,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))
model.summary()
最后，你需要选择损失函数和优化器。由于你面对的是一个二分类问题，网络输出是一个概率值(网络最后一层使用 sigmoid 激活函数，仅包含一个单元)，那么最好使用 binary_ crossentropy(二元交叉熵)损失。这并不是唯一可行的选择，比如你还可以使用 mean_ squared_error(均方误差)。但对于输出概率值的模型，交叉熵(crossentropy)往往是最好 的选择。交叉熵是来自于信息论领域的概念，用于衡量概率分布之间的距离，在这个例子中就 是真实分布与预测值之间的距离。
from keras import optimizers
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
上述代码将优化器、损失函数和指标作为字符串传入，这是因为 rmsprop、binary_ crossentropy 和 accuracy 都是 Keras 内置的一部分。有时你可能希望配置自定义优化器的 参数，或者传入自定义的损失函数或指标函数。前者可通过向 optimizer 参数传入一个优化器类实例来实现
from keras import optimizers
from keras import losses
from keras import metrics
model.compile(optimizer=optimizers.RMSprop(lr=0.001), loss=losses.binary_crossentropy,
metrics=[metrics.binary_accuracy])
现在使用 512 个样本组成的小批量，将模型训练 20 个轮次(即对 x_train 和 y_train 两 个张量中的所有样本进行 20 次迭代)。与此同时，你还要监控在留出的 10 000 个样本上的损失 和精度。你可以通过将验证数据传入 validation_data 参数来完成。
history=model.fit(partial_x,partial_y,epochs=20,batch_size=512,validation_data=(x_test,y_test))
在 CPU 上运行，每轮的时间不到 2 秒，训练过程将在 20 秒内结束。每轮结束时会有短暂 的停顿，因为模型要计算在验证集的 10 000 个样本上的损失和精度。
注意，调用 model.fit() 返回了一个 History 对象。这个对象有一个成员 history，它 是一个字典，包含训练过程中的所有数据。我们来看一下。
>>> history_dict = history.history
>>> history_dict.keys()
dict_keys(['val_acc', 'acc', 'val_loss', 'loss'])
字典中包含 4 个条目，对应训练过程和验证过程中监控的指标。在下面两个代码清单中， 我们将使用 Matplotlib 在同一张图上绘制训练损失和验证损失
#绘制训练损失和验证损失
import matplotlib.pyplot as plt
acc=dic['acc']
loss=dic['loss']
val_loss=dic['val_loss']
val_acc=dic['val_acc']
epochs=range(1,len(acc)+1)
plt.plot(epochs,acc,label='acc')
#plt.plot(epochs,loss,label='loss')
plt.plot(epochs,val_acc,label='val_acc')
#plt.plot(epochs,val_loss,label='val_loss')
plt.xlabel('Epochs')
plt.ylabel('acc')
plt.legend()
plt.show()
如你所见，训练损失每轮都在降低，训练精度每轮都在提升。这就是梯度下降优化的预期 结果——你想要最小化的量随着每次迭代越来越小。但验证损失和验证精度并非如此:它们似乎在第四轮达到最佳值。这就是我们之前警告过的一种情况:模型在训练数据上的表现越来越好,但在前所未见的数据上不一定表现得越来越好。
准确地说，你看到的是过拟合(overfit):在第二轮之后，你对训练数据过度优化，最终学到的表示仅针对于训练数据，无法泛化到训练集之 外的数据。
在这种情况下，为了防止过拟合，你可以在 3 轮之后停止训练。通常来说，你可以使用许多方法来降低过拟合.
我们从头开始训练一个新的网络，训练 4 轮，然后在测试数据上评估模型
model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy',
metrics=['accuracy'])
model.fit(x_train, y_train, epochs=4, batch_size=512)
results = model.evaluate(x_test, y_test)
这种相当简单的方法得到了 88% 的精度。利用最先进的方法，你应该能够得到接近 95% 的 精度。
2.3使用训练好的网络在新数据上生成预测结果
训练好网络之后，你希望将其用于实践。你可以用 predict 方法来得到评论为正面的可能性大小。
>>> model.predict(x_test)
array([[ 0.98006207]
[ 0.99758697]
[ 0.99975556]
...,
[ 0.82167041]
[ 0.02885115]
[ 0.65371346]], dtype=float32)
如你所见，网络对某些样本的结果非常确信(大于等于 0.99，或小于等于 0.01)，但对其他结果却不那么确信(0.6 或 0.4)。
2.4进一步实验
通过以下实验，你可以确信前面选择的网络架构是非常合理的，虽然仍有改进的空间。
- 前面使用了两个隐藏层。你可以尝试使用一个或三个隐藏层，然后观察对验证精度和测试精度的影响。
- 尝试使用更多或更少的隐藏单元，比如 32 个、64 个等。
- 尝试使用 mse 损失函数代替 binary_crossentropy。
- 尝试使用 tanh 激活(这种激活在神经网络早期非常流行)代替 relu。
2.5 小结
下面是你应该从这个例子中学到的要点。
- 通常需要对原始数据进行大量预处理，以便将其转换为张量输入到神经网络中。单词序列可以编码为二进制向量，但也有其他编码方式。
- 带有 relu 激活的 Dense 层堆叠，可以解决很多种问题(包括情感分类)，你可能会经常用到这种模型。
- 对于二分类问题(两个输出类别)，网络的最后一层应该是只有一个单元并使用 sigmoid激活的 Dense 层，网络输出应该是 0~1 范围内的标量，表示概率值。
- 对于二分类问题的 sigmoid 标量输出，你应该使用 binary_crossentropy 损失函数。
- 无论你的问题是什么，rmsprop 优化器通常都是足够好的选择。这一点你无须担心。
- 随着神经网络在训练数据上的表现越来越好，模型最终会过拟合，并在前所未见的数据上得到越来越差的结果。一定要一直监控模型在训练集之外的数据上的性能。