Keras（三）——Sequential 顺序模型

Sequential 顺序模型

顺序模型是多个网络层的线性堆叠

创建Sequential顺序模型

1.将网络层实例的列表传递给 Sequential 的构造器

from keras.models import Sequential
from keras.layers import Dense, Activation

model = Sequential([
    Dense(32, input_shape=(784,)),
    Activation('relu'),
    Dense(10),
    Activation('softmax'),
])

2.使用.add()方法将各层添加到模型中

model = Sequential()
model.add(Dense(32, input_dim=784))
model.add(Activation('relu'))

其中，input_shape 表示期望输入数据的尺寸，可以是一个表示尺寸的元组，input_shape 中不包括数据的 batch 大小（可用 batch_size 实现），某些3D层支持 input_dim 和 input_length 参数。

Dense 即全连接神经网络层

*顺序模型中的第一层（且只有第一层，因为下面的层可以自动推断尺寸）需要接收关于输入尺寸的信息。

模型编译

compile方法接收三个参数：

• 优化器 optimizer。可以是现有优化器的字符串标识符，如 rmsprop 或 adagrad，也可以是 Optimizer 类的实例。
• 损失函数 loss，模型试图最小化的目标函数。可以是现有损失函数的字符串标识符，如 categorical_crossentropy 或 mse，也可以是一个目标函数。
• 评估标准 metrics。评估标准可以是现有的标准的字符串标识符，也可以是自定义的评估标准函数。

模型训练

Keras 模型在输入数据和标签的 Numpy 矩阵上进行训练。

Numpy 矩阵（Matrix）： NumPy 中包含了一个矩阵库 numpy.matlib，该模块中的函数返回的是一个矩阵，而不是 ndarray 对象。

# 生成虚拟数据
import numpy as np
data = np.random.random((1000, 100))
labels = np.random.randint(2, size=(1000, 1))

# 训练模型，以 32 个样本为一个 batch 进行迭代
model.fit(data, labels, epochs=10, batch_size=32)
# epochs即循环次数

几个起步小样例

• 基于多层感知器 (MLP) 的 softmax 多分类

• 基于多层感知器的二分类

• 类似 VGG 的卷积神经网络

• 基于 LSTM 的序列分类

• 基于 1D 卷积的序列分类

• 基于栈式 LSTM 的序列分类

• “stateful” 渲染的的栈式 LSTM 模型

Sequential模型方法

compile（用于配置训练模型）

compile(optimizer, loss=None, metrics=None, loss_weights=None, 	
		sample_weight_mode=None, weighted_metrics=None, target_tensors=None)

参数：

• optimizer：字符串（优化器名）或者优化器对象
• loss：字符串（目标函数名）或目标函数。如果多个输出，模型最小化的损失值是单个损失的总和
• metrics：在训练和测试期间的模型评估标准，多输出模型可以传递字典。
• loss_weights：指定标量系数（Py浮点数）的可选列表或字典，用于加权不同模型的输出的损失贡献，模型将要最小化的损失值是所有单个损失的加权和。
• sample_weight_mode：默认为None，为采样权重（1D）；若执行按时间步采样权重（2D），需设置为temporal
• weighted_metrics： 在训练和测试期间，由 sample_weight 或 class_weight 评估和加权的度量标准列表。
• target_tensors : 默认情况下，Keras 将为模型的目标创建一个占位符，在训练过程中将使用目标数据。如果想使用自己的目标张量，可以通过 target_tensors 参数指定它们。它应该是单个张量（对于单输出 Sequential 模型）。

异常：

• ValueError：如果参数不合法

fit 以固定数量的轮次（数据集上的迭代）训练模型

fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None,   
	validation_split=0.0, validation_data=None, shuffle=True, 
	class_weight=None, sample_weight=None, initial_epoch=0, 
	steps_per_epoch=None, validation_steps=None)

参数：

• x：训练数据的 Numpy 数组
• y：目标数据的 Numpy数组
• batch_size： 每次提度更新的样本数。如果未指定，默认为 32
• epochs： 训练模型迭代轮次
• verbose： 0, 1 或 2。日志显示模式。 0 = 安静模式, 1 = 进度条, 2 = 每轮一行
• callbacks： 一系列可以在训练时使用的回调函数
• validation_split： 在 0 和 1 之间浮动。用作验证集的训练数据的比例
• validation_data： 用来评估损失，以及在每轮结束时的任何模型度量指标。
• shuffle ：布尔值（是否在每轮迭代之前混洗数据）或者字符串 batch
• class_weight： 可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函数（仅在训练期间）
• sample_weight： 训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练期间）
• initial_epoch：开始训练的轮次（有助于恢复之前的训练）
• steps_per_epoch： 在声明一个轮次完成并开始下一个轮次之前的总步数（样品批次）
• validation_steps： 只有在指定了 steps_per_epoch 时才有用。停止前要验证的总步数（批次样本）

返回：

一个History 对象。其History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）

异常：

• RuntimeError：如果模型从未编译
• valueError：在提供的输入数据与模型期望不匹配的情况下

evaluate（在测试模式，返回误差值和评估标准值，计算逐批次进行）

evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, 
		 steps=None)

参数：

• steps：整数或None，声明评估结束之前的总步数（批次样本）。默认值None

返回：

标量测试误差（如果模型只有单个输出且没有评估指标）或标量列表（如果模型具有多个输出和/或指标）。 属性 model.metrics_names 将提供标量输出的显示标签

predict（为输入样本生成输出预测，计算逐批次进行）

predict(x, batch_size=None, verbose=0, steps=None)

返回：

预测的 Numpy 数组

异常：

• ValueError： 如果提供的输入数据与模型的期望数据不匹配，或者有状态模型收到的数量不是批量大小的倍数

train_on_batch ( 一批样品的单次梯度更新 )

train_on_batch(x, y, sample_weight=None, class_weight=None)

返回：

标量训练误差（如果模型只有单个输出且没有评估指标）或标量列表（如果模型具有多个输出和/或指标）。 属性 model.metrics_names 将提供标量输出的显示标签

test_on_batch（在一批样本上评估模型）

test_on_batch(x, y, sample_weight=None)

返回：

标量训练误差（如果模型只有单个输出且没有评估指标）或标量列表（如果模型具有多个输出和/或指标）。 属性 model.metrics_names 将提供标量输出的显示标签

predict_on_batch（返回一批样本的模型预测值）

predict_on_batch(x)

返回：

预测值的 Numpy 数组

fit_generator（使用Py生成器或Sequence 实例逐批生成的数据，按批次训练模型）

fit_generator(generator, steps_per_epoch=None, epochs=1, verbose=1, 
				callbacks=None, validation_data=None, validation_steps=None, 				 class_weight=None, max_queue_size=10, workers=1, 			
				use_multiprocessing=False, shuffle=True, initial_epoch=0)

参数：

• max_queue_size：整数，生成器队列的最大尺寸，如果未指定，默认为10
• workers：整数， 使用基于进程的多线程时启动的最大进程数。如果未指定，worker 将默认为 1。如果为 0，将在主线程上执行生成器
• use_multiprogressing：如果为True，则使用基于进程的多线程。未指定默认为False

返回：

一个History 对象。其History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）

异常：

• ValueError：如果生成器生成的数据格式不正确

例子：

def generate_arrays_from_file(path):
    while True:
        with open(path) as f:
            for line in f:
                # 从文件中的每一行生成输入数据和标签的 numpy 数组
                x1, x2, y = process_line(line)
                    yield ({'input_1': x1, 'input_2': x2}, {'output': y})

model.fit_generator(generate_arrays_from_file('/my_file.txt'),
                    steps_per_epoch=10000, epochs=10)

evaluate_generator ( 在数据生成器上评估模型 )

evaluate_generator(generator, steps=None, max_queue_size=10, workers=1, 
					use_multiprocessing=False, verbose=0)

参数：

• generator： 生成器，生成 (inputs, targets) 或 (inputs, targets, sample_weights)，或 Sequence (keras.utils.Sequence) 对象的实例，以避免在使用多进程时出现重复数据

返回：

标量测试误差（如果模型只有单个输出且没有评估指标）或标量列表（如果模型具有多个输出和/或指标）。 属性 model.metrics_names 将提供标量输出的显示标签

异常：

• ValueError：如果生成器生成的数据格式不正确

predict_generator（为来自数据生成器的输入样本生成预测）

predict_generator(generator, steps=None, max_queue_size=10, workers=1, 	
				  use_multiprocessing=False, verbose=0)

返回：

预测值的 Numpy 数组

异常：

• ValueError：如果生成器生成的数据格式不正确

get_layer（根据名称或索引值查找网络层）

get_layer(name=None, index=None)

如果同时提供了name 和 index 则 index 优先

根据网络层的名称（唯一）或其索引返回该层。索引是基于水平图遍历的顺序（自下而上）

参数：

• name：字符串，层的名字
• index：整数，层的索引

返回：

一个层实例

异常：

• ValueError：如果生成器生成的数据格式不正确