keras基本知识（一）

keras介绍

第一部分-简介
1.Keras 是一个模型级（model-level）的库，为开发深度学习模型提供了高层次的构建模块。
它不处理张量操作、求微分等低层次的运算。相反，它依赖于一个专门的、高度优化的张量库
来完成这些运算，这个张量库就是Keras 的后端引擎（backend engine）。

目前，Keras 有三个后端实现：TensorFlow 后端、Theano 后端和微软认知工具包（CNTK，Microsoft cognitive toolkit）后端。

TensorFlow、CNTK 和Theano 是当今深度学习的几个主要平台。Theano 由蒙特利尔大学的
MILA 实验室开发，TensorFlow 由Google 开发，CNTK 由微软开发。

通过TensorFlow（或Theano、CNTK），Keras 可以在CPU 和GPU 上无缝运行。在CPU 上运行
时，TensorFlow 本身封装了一个低层次的张量运算库，叫作Eigen；在GPU 上运行时，TensorFlow
封装了一个高度优化的深度学习运算库，叫作NVIDIA CUDA 深度神经网络库（cuDNN）

2.keras的训练过程：

(1) 定义训练数据：输入张量和目标张量。
(2) 定义层组成的网络（或模型），将输入映射到目标。
(3) 配置学习过程：选择损失函数、优化器和需要监控的指标。
(4) 调用模型的fit 方法在训练数据上进行迭代。

定义模型有两种方法：一种是使用Sequential 类（仅用于层的线性堆叠，这是目前最常
见的网络架构），另一种是函数式API（functional API，用于层组成的有向无环图，让你可以构建任意形式的架构）。

第二部分-Sequential类的重要函数

1.add函数
定义：add(self, layer)
用途：向模型中添加一个层
参数layer是Layer对象，也即是层

2.pop函数
定义：pop(self)
用途：弹出模型的最后一层，无返回值，该方法一般很少用到。

3.compile函数
定义：

compile(self, optimizer, loss, metrics=None, sample_weight_mode=None)

该方法编译用来配置模型的学习过程，其参数有以下这些：

optimizer：字符串（预定义优化器名）或优化器对象，参考优化器。
loss：字符串（预定义损失函数名）或目标函数，参考损失函数。
metrics：列表，包含评估模型在训练和测试时的网络性能的指标，典型用法是metrics=['accuracy']。
sample_weight_mode：如果你需要按时间步为样本赋权（2D权矩阵），将该值设为“temporal”。默认为“None”，代表按样本赋权（1D权）。
kwargs：使用TensorFlow作为后端请忽略该参数，若使用Theano作为后端，kwargs的值将会传递给 K.function。

例子：

model = Sequential()
model.add(Dense(32, input_shape=(500,)))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])

该例子添加两个Dense层，并用rmsprop优化器进行优化，损失函数定义为categorical_crossentroy。
模型在使用前必须编译，否则在调用fit或evaluate时会抛出异常。

4.fit函数
定义：

fit(self, x, y, batch_size=32, epochs=10, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, 
class_weight=None, sample_weight=None, initial_epoch=0)

函数将模型训练epoch轮，其参数有：

x：输入数据。如果模型只有一个输入，那么x的类型是numpy array，如果模型有多个输入，那么x的类型应当为list，list的元素是对应于各个输入的numpy array。
y：标签向量，numpy array类型。
batch_size：整数，指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降，使目标函数优化一步。
epochs：训练的轮数，每个epoch会把训练集轮一遍。
verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录。
callbacks：list，其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用，参考回调函数
validation_split：0~1之间的浮点数，用来指定训练集的一定比例数据作为验证集。注意，validation_split的划分在shuffle之前，因此如果你的数据本身是有序的，需要先手工打乱再指定validation_split，否则可能会出现验证集样本不均匀。
validation_data：形式为（X，y）的tuple，是指定的验证集。此参数将覆盖validation_spilt参数。
shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。
class_weight：字典，将不同的类别映射为不同的权值，该参数用来在训练过程中调
整损失函数（只能用于训练）。
sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序
数据时，传递一个的形式为的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。
initial_epoch: 从该参数指定的epoch开始训练，在继续之前的训练时有用。

fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，如果有验证集的话，也包含了验证集的这些指标变化情况。

5.evaluate函数
定义：

evaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)

函数按batch计算在某些输入数据上模型的误差，其参数有：

x：输入数据，与fit一样，是numpy array或numpy array的list。
y：标签，numpy array。
batch_size：整数，含义同fit的同名参数。
verbose：含义同fit的同名参数，但只能取0或1。
sample_weight：numpy array，含义同fit的同名参数。

函数返回一个测试误差的标量值（如果模型没有其他评价指标），或一个标量的list（如果模型还有其他的评价指标）。model.metrics_names将给出list中各个值的含义。

如果没有特殊说明，以下函数的参数均保持与fit的同名参数相同的含义。

6.predict函数
定义：

predict(self, x, batch_size=32, verbose=0)

函数按batch获得输入数据对应的预测结果，其中x是输入向量，batch_size是每批次选取的数据集数量。函数的返回值是预测值的numpy array。

7.predict_classes函数
定义：

predict_classes(self, x, batch_size=32, verbose=1)

函数按batch产生输入数据的类别预测结果，它和predict的区别是：
Predict返回各个类别的可能性结果，是一个n维向量，n等于类别的数量；而predict_classes返回的是最可能的类别，对每个输入返回的是类别名称。
函数的返回值是类别预测结果的numpy array或numpy。

8.train_on_batch函数
定义：

train_on_batch(self, x, y, class_weight=None, sample_weight=None)

函数在一个batch的数据上进行一次参数更新。
函数返回训练误差的标量值或标量值的list，与evaluate的情形相同。

9.test_on_batch函数
定义：

test_on_batch(self, x, y, sample_weight=None)

函数在一个batch的样本上对模型进行评估。
函数的返回与evaluate的情形相同。

10.predict_on_batch函数
定义：

predict_on_batch(self, x)

函数在一个batch的样本上对模型进行测试。
函数返回模型在一个batch上的预测结果。

11.fit_generator函数
定义：

fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initial_epoch=0)

利用Python的生成器，逐个生成数据的batch并进行训练。生成器与模型将并行执行以提高
效率。例如，该函数允许我们在CPU上进行实时的数据提升，同时在GPU上进行模型训
练。
函数的参数是：

generator：生成器函数，生成器的输出应该为：
a) 一个形如（inputs，targets）的tuple。
b) 一个形如（inputs, targets,sample_weight）的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时，记一个epoch结束。

steps_per_epoch：整数，当生成器返回steps_per_epoch次数据时计一个epoch结束，执行下一个epoch。
epochs：整数，数据迭代的轮数。

verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录。
validation_data：具有以下三种形式之一。
a) 生成验证集的生成器。
b) 一个形如（inputs,targets）的tuple。
c) 一个形如（inputs,targets，sample_weights）的tuple。
validation_steps: 当validation_data为生成器时，本参数指定验证集的生成器返回次数。

class_weight：规定类别权重的字典，将类别映射为权重，常用于处理样本不均衡问题。
sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序
数据时，传递一个的形式为（samples sequence_length）的矩阵来为每个时间步上的
样本赋不同的权。这种情况下请确定在编译模型时添加了
sample_weight_mode='temporal'。
workers：最大进程数。
max_q_size：生成器队列的最大容量。
pickle_safe: 若为真，则使用基于进程的线程。由于该实现依赖多进程，不能传递nonpicklable（无法被pickle序列化）的参数到生成器中，因为无法轻易将它们传入子进程中。
initial_epoch: 从该参数指定的epoch开始训练，在继续之前的训练时有用。

函数返回一个History对象。

例子：

def generate_arrays_from_file(path):
while 1:
	f = open(path)
	for line in f:
		# create Numpy arrays of input data
		# and labels, from each line in the file
		x, y = process_line(line)
		yield (x, y)
	f.close()
model.fit_generator(generate_arrays_from_file('/my_file.txt'),
	samples_per_epoch=10000, epochs=10)

12.evaluate_generator函数
定义：

evaluate_generator(self, generator, steps, max_q_size=10, workers=1, pickle_safe=False)

函数使用一个生成器作为数据源评估模型，生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同，steps是生成器要返回数据的轮数。

13.predcit_generator函数
定义：

self, generator, steps, max_q_size=10, workers=1, pickle_safe=False, verbose=0

函数使用一个生成器作为数据源预测模型，生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同，steps是生成器要返回数据的轮数。