Keras源码学习笔记

文章目录

  • Keras源码结构
    • keras搭建网络和运行的一般过程
    • Keras源码文件结构
    • Keras核心类
    • 卷积层
    • 优化函数
    • 训练过程中的回调函数
    • 损失函数
    • 权重初始化方法

Keras源码结构

keras源码非常简洁,学习源码可以对深度学习整体框架有更清楚的认识。通过对keras源码的阅读,我简单总结了一些笔记,类似于大纲一样的东西。具体的实现细节和步骤,直接看源码会更容易理解。

keras搭建网络和运行的一般过程

model=Sequential() model=Model() 建立模型
model.add() 模型编辑
model.compile() 模型编译
model.fit() 模型拟合
model.evaluate() 模型估计
model.save()

实际使用时,增加下面功能:
model.summary()
plot_model(model,””)
fit()函数增加callbacks实现模型自动保存,早期停止,学习率变化

fit
是用来对训练集和标签直接训练,训练过程中不再对训练集和标签做处理。
fit_generator
需要对训练集和标签做处理,然后再训练。这种处理包括:简单数据集的数据增强;复杂任务的样本处理。相比fit,增加了线程数的设置等。

Keras源码文件结构

Keras源码学习笔记_第1张图片

Keras核心类

主要类 成员函数 目录 功能
Layer(object) get_config、get_weights、set_weight keras/engine/base_layer.py 基础类
InputLayer(Layer) keras/engine/input_layer.py
Dense(Layer) Dropout(Layer) Activation(Layer) Flatten(Layer) keras/layers/core.py
_Pooling1D/2D/3D(Layer) _GlobalPooling1D/2D/3D(Layer) AveragePooling2D(_Pooling2D) MaxPooling2D(_Pooling2D) compute_output_shape _pooling_function get_config call keras/layers/pooling.py 保护类
重载_pooling_function
BatchNormalization(Layer) build、call、get_config、compute_output_shape keras/layers/normalization.py
Network(Layer) keras/engine/network.py
Model(Network) compile、fit、evaluate、prediction train/test/predict fit/evaluate/predict_generator
Sequential(Model) layers、model、add、pop、build、 predict_proba、predict_classes

卷积层

主要类 成员函数 目录 功能
_Conv(Layer)_Cropping(Layer) _UpSampling(Layer) _ZeroPadding(Layer) _SeparableConv(_Conv)Conv1D/2D/3D(_Conv) Conv2D/3DTranspose(Conv2D) Cropping1D/2D/3D(_Cropping)UpSampling1D/2D/3D(_UpSampling) ZeroPadding1D/2D/3D(_ZeroPadding) SeparableConv1D/2D(_SeparableConv) Conv1D/2D/3DTranspose(Conv1D/2D/3D) get_config keras/layers/convolutional.py

优化函数

主要类 成员函数 目录 功能
Optimizer(object) get_updates get_gradients get/set_weights get_config from_config keras/optimizers.py
Adagrad(Optimizer) 重载get_updates、get_config
SGD(Optimizer)
RMSprop(Optimizer)
Adadelta(Optimizer)
Adam(Optimizer)
Adamax(Optimizer)
Nadam(Optimizer)
TFOptimizer(Optimizer)

训练过程中的回调函数

实现训练超参数的更改、性能度量、记录等功能

callbacks 功能
Callback(object) on_epoch_begin/end on_batch_begin/end on_train_begin/end
CallbackList(object)
LambdaCallback(Callback) 自定义功能
BaseLogger(Callback)
CSVLogger(Callback) 将每个epochs的结果保存到表格
ReduceLROnPlateau(Callback) 当性能不在提升时改变学习率
TensorBoard(Callback)
LearningRateScheduler(Callback) 学习率按照设定规则变化
TerminateOnNaN(Callback) 当损失变成NaN时停止
ProgbarLogger(Callback) 输出度量metrics
History(Callback) 保存历史记录
ModelCheckpoint(Callback) 每隔epochs保存模型
EarlyStopping(Callback) 当监视的性能指标不再提升时停止
RemoteMonitor(Callback)

损失函数

keras损失函数 两个参数:y(预测)、y_(真实)
mean_squared_error 平均平方损失
mean_absolute_error
mean_absolute_percentage_error 平均百分比损失mean(|y-y_hat|/y_hat)
mean_squared_logarithmic_error 平均对数平方损失
squared_hinge
squared_hinge
hinge 铰链损失,最大间隔分类(SVM)L=max(0,1-y*y_)
categorical_hinge
logcosh 预测误差的双曲余弦的对数
categorical_crossentropy 交叉熵
sparse_categorical_crossentropy
binary_crossentropy
kullback_leibler_divergence K-L散度,相对熵,信息增益
poisson
cosine_proximity

权重初始化方法

初始化类or函数 参数or功能
Initializer(object)
Zeros(Initializer)、Ones(Initializer)、Constant(Initializer)
RandomNormal(Initializer) mean、stddev
RandomUniform(Initializer) minval、maxval
TruncatedNormal(Initializer) mean、stddev 偏离均值两倍标准差的值被丢弃【推荐】
VarianceScaling(Initializer) scale、mode、distribution,该初始化方法能够自适应目标张量的shape
Orthogonal(Initializer) 随机初始化一个正交矩阵
Identity(Initializer) 随机初始化一个单位矩阵
函数
lecun_uniform(seed=None) LeCun均匀分布 [-sqrt(3 / fan_in), sqrt(3 / fan_in)]
lecun_normal(seed=None) mean=0, stddev = sqrt(1 / fan_in)
glorot_normal(seed=None) mean=0, stddev=sqrt(2 / (fan_in + fan_out))
glorot_uniform(seed=None) [-limit, limit], limit=sqrt(6 / (fan_in + fan_out))
he_normal(seed=None) mean=0, stddev=sqrt(2 / fan_in)
he_uniform(seed=None) [-sqrt(6 / fan_in), sqrt(6 / fan_in)]

你可能感兴趣的:(deep-learning,ubuntu,Keras)