keras channels_last、preprocess_input、全连接层Dense、SGD优化器、模型及编译

channels_last 和 channels_first

keras中 channels_last 和 channels_first 用来设定数据的维度顺序(image_data_format)。

对2D数据来说,"channels_last"假定维度顺序为 (rows,cols,channels), 而"channels_first"假定维度顺序为(channels, rows, cols)。

对3D数据而言,"channels_last"假定(conv_dim1, conv_dim2, conv_dim3, channels),"channels_first"则是(channels, conv_dim1, conv_dim2, conv_dim3)。

可通过 keras.backend.image_data_format() 来获取当前的维度顺序,一般默认顺序是 channels_last。


preprocess_input(img)

keras中 preprocess_input() 函数完成数据预处理的工作,数据预处理能够提高算法的运行效果。常用的预处理包括数据归一化和白化(whitening)。

深度学习中数据归一化的常用方法:

1. 简单缩放Simple Rescaling)

简单缩放方法是通过对数据各个维度上的值进行重新调节,使得数据整体上分布在[0,1]或[-1,1]区间。

2. 逐样本均值消减(Per-example mean subtraction)

逐样本均值消减,也称为移除直流分量(remove DC),具体操作是把每个样本都减去所有样本的统计平均值,这种归一化方法在图像领域常见。

3. 特征标准化(Feature Standardization)

特征标准化指的是(独立地)使得数据的每一个维度具有零均值和单位方差,具体操作是首先计算每一个维度上数据的均值(使用全体数据计算),之后在每一个维度上都减去该均值。下一步便是在数据的每一维度上除以该维度上数据的标准差。 

白化,又称漂白或者球化;是对原始数据执行变换,使得转换后的数据的协方差矩阵为单位阵。

图像中相邻像素之间具有很强的相关性,因此输入是冗余的。白化的目的就是降低输入的冗余性。

经白化处理后的数据集满足两个条件:一是特征相关性较低;二是特征具有相同的方差。

白化算法的实现过程:第一步操作是PCA,求出新特征空间中的新坐标,第二步是对新的坐标进行方差归一化操作。

keras中preprocess_input()函数的作用是对样本执行 逐样本均值消减 的归一化,即在每个维度上减去样本的均值,对于维度顺序是channels_last的数据,keras中每个维度上的操作如下:

x[..., 0] -= 103.939
x[..., 1] -= 116.779
x[..., 2] -= 123.68

全连接层Dense类

keras在core模块中定义了一系列常用的网络层,包括全连接,激活层等。Dense层是全连接层。

keras.layers.core.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
参数:
  1.     units:大于0的整数,代表该层的输出维度。例如units=4,表示该层的输出是4个类别
  2.     activation:激活函数,为预定义的激活函数名(参考激活函数),或逐元素(element-wise)的Theano函数,例如activation='softmax'。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x),默认不使用
  3.     use_bias: 布尔值,是否使用偏置项,默认为True
  4.     kernel_initializer:权值初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器。默认使用均匀分布初始化方法初始化,参数从[-limit, limit]的均匀分布产生。
  5.     bias_initializer:偏置向量初始化方法,为预定义初始化方法名的字符串,或用于初始化偏置向量的初始化器。默认初始化为0
  6.     kernel_regularizer:施加在权重上的正则项,为Regularizer对象,默认不使用
  7.     bias_regularizer:施加在偏置向量上的正则项,为Regularizer对象,默认不使用
  8.     activity_regularizer:施加在输出上的正则项,为Regularizer对象,默认不使用
  9.     kernel_constraints:施加在权重上的约束项,为Constraints对象,默认不使用
  10.     bias_constraints:施加在偏置上的约束项,为Constraints对象,默认不使用

SGD优化器

优化器按照一定规则不断调整优化参数,是模型必须设定的参数之一。

常用的SGD优化器:

keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降法,支持动量参数,支持学习衰减率,支持Nesterov动量。

参数

  1.     lr:大或等于0的浮点数,学习率
  2.     momentum:大或等于0的浮点数,动量参数
  3.     decay:大或等于0的浮点数,每次更新后的学习率衰减值
  4.     nesterov:布尔值,确定是否使用Nesterov动量

Model模型

Model是keras定义的一个类,用来生成模型,又被称为函数式(Funcitional)模型,Keras函数式模型接口是用户定义多输出模型、非循环有向模型或具有共享层的模型等复杂模型的途径,是最广泛的一类模型。

Model典型使用:

# This returns a tensor
inputs = Input(shape=(784,))

# a layer instance is callable on a tensor, and returns a tensor
x = Dense(64, activation='relu')(inputs)
x = Dense(64, activation='relu')(x)
predictions = Dense(10, activation='softmax')(x)

# This creates a model that includes
# the Input layer and three Dense layers
model = Model(inputs=inputs, outputs=predictions)


模型编译

定义完模型之后需要进一步编译模型,使用model.compile()函数。

compile(self, optimizer, loss, metrics=None, loss_weights=None,
                sample_weight_mode=None, weighted_metrics=None,
                target_tensors=None, **kwargs)
  1. optimizer:优化器,为预定义优化器名或优化器对象,如SGD
  2. loss:损失函数,为预定义损失函数名或一个目标函数,如loss='categorical_crossentropy'
  3. metrics:列表,包含评估模型在训练和测试时的性能的指标,典型用法是metrics=['accuracy']如果要在多输出模型中为不同的输出指定不同的指标,可向该参数传递一个字典,例如metrics={'ouput_a': 'accuracy'}
  4. sample_weight_mode:如果你需要按时间步为样本赋权(2D权矩阵),将该值设为“temporal”。默认为“None”,代表按样本赋权(1D权)。如果模型有多个输出,可以向该参数传入指定sample_weight_mode的字典或列表。在下面fit函数的解释中有相关的参考内容。
  5. weighted_metrics: metrics列表,在训练和测试过程中,这些metrics将由sample_weight或clss_weight计算并赋权
  6. target_tensors: 默认情况下,Keras将为模型的目标创建一个占位符,该占位符在训练过程中将被目标数据代替。如果你想使用自己的目标张量(相应的,Keras将不会在训练时期望为这些目标张量载入外部的numpy数据),你可以通过该参数手动指定。目标张量可以是一个单独的张量(对应于单输出模型),也可以是一个张量列表,或者一个name->tensor的张量字典。
  7. kwargs:使用TensorFlow作为后端请忽略该参数,若使用Theano/CNTK作为后端,kwargs的值将会传递给 K.function。如果使用TensorFlow为后端,这里的值会被传给tf.Session.run,当为参数传入非法值时会抛出异常
【Tips】 如果只是载入模型并利用其predict,可以不用进行compile。在Keras中,compile主要完成损失函数和优化器的一些配置,是为训练服务的。predict会在内部进行符号函数的编译工作(通过调用_make_predict_function生成函数)。


你可能感兴趣的:(keras)