keras学习之-mnist_cnn.py

keras的初窥，发现keras真是一个极好的api，封装了好多繁琐的东东，使用起来简洁方便。

注：该例子相对比较简单，两个卷积层作为隐藏层，一个全连接层作为输出层

# -*- coding: utf-8 -*-
"""
Created on  2018/3/13 18:15
 
@author: lhua
"""
#先翻译下开头：
# 用MNIST手写数字识别数据训练了一个简单的CNN模型。在迭代12次之后得到了99.25%的准确率
# （参数还有调整的余地）在Grid K520的GPU上跑一轮需要12秒
'''Trains a simple convnet on the MNIST dataset.
Gets to 99.25% test accuracy after 12 epochs
(there is still a lot of margin for parameter tuning).
16 seconds per epoch on a GRID K520 GPU.
'''
#Python提供了__future__模块，把下一个新版本的特性导入到当前版本，
# 于是我们就可以在当前版本中测试一些新版本的特性。详见廖雪官网
from __future__ import print_function
#引入需要的包：数据集，序贯（Sequential），全连接层（Dense）,Dropout层，Flatten层，二维卷积层（Conv2D）,
#空域信号最大池化层（MaxPooling2D），后端（backend,这里keras的backend选用的是tensorflow,详见 vi ~/.keras/keras.json 配置文件里面可以修改backend)
#tensorflow as tf 为了最后清空模型所占的内存
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K
import tensorflow as tf

# 定义一些超参数（可调）
# batch_size为每次喂给神经网络的样本数。1>可以一次性将全部样本喂给神经网络，让神经网络用全部样本计算迭代梯度（即传统的梯度下降法）
# 2> 一次只喂给一个样本，让神经网络一个样本一个样本的迭代参数；3>每次将一部分样本喂给神经网络，让神经网络一部分样本一部分样本的迭代（即batch梯度下降法）
batch_size = 128

# num_classes：指的是label的维度数，这里用了10维onehot编码向量，即1:[1,0,0,0,0,0,0,0,0,0] 2:[0,1,0,0,0,0,0,0,0,0]etc
num_classes = 10

# epochs:所以训练数据完整的过一遍的次数，即样本轮多少次，或者多少波吧，训练打印日志就能看出来，这个是啥意思啦！
epochs = 12

# 图像尺寸28*28(input image dimensions)
img_rows, img_cols = 28, 28

# 下载MNIST数据集，同时获取训练集、验证集（the data, split between train and test sets）
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 在如何表示一组彩色图片的问题上，Theano和TensorFlow发生了分歧，'th'模式，
# 也即Theano模式会把100张RGB三通道的16×32（高为16宽为32）彩色图表示为下面这种形式（100,3,16,32），
# Caffe采取的也是这种方式。第0个维度是样本维，代表样本的数目，第1个维度是通道维，代表颜色通道数。后面两个就是高和宽了。
# 这种theano风格的数据组织方法，称为“channels_first”，即通道维靠前。而TensorFlow，的表达形式是（100,16,32,3），
# 即把通道维放在了最后，这种数据组织方式称为“channels_last”。（详见：vi ~/.keras/keras.json)
if K.image_data_format() == 'channels_first':
    x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
    x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
    input_shape = (1, img_rows, img_cols)
else:
    x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
    x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
    input_shape = (img_rows, img_cols, 1)

# 对训练和测试数据处理，转为float
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')

# 对数据进行归一化到0-1 因为图像数据最大是255
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

# 将标签（label)进行转换为one-hot编码（convert class vectors to binary class matrices）
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

# 搭建网络结构
# 序贯（Sequential)模型是多个网络层的线性堆叠，也就是一条路走到黑
model = Sequential()

# 1.可以通过向Sequential模型传递一个layer的list来构造该模型 2.可以通过.add()方法一个个的将layer加入模型
# 这里采取了通过.add()方法一个个的将layer层加入模型
# 卷积层1.一维卷积层（即时域卷积Conv1D层），用以在一维输入信号上进行邻域滤波。当使用该层作为首层时，需要提供关键字参数input_shape。
# 例如(10,128)代表一个长为10的序列，序列中每个信号为128向量。而(None, 128)代表变长的128维向量序列。
# 该层生成将输入信号与卷积核按照单一的空域（或时域）方向进行卷积。如果use_bias=True，则还会加上一个偏置项，若activation不为None，则输出为经过激活函数的输出。
# 卷积层2.二维卷积层，（即对图像的空域卷积Conv2D层）。该层对二维输入进行滑动窗卷积，当使用该层作为第一层时，应提供input_shape参数。
# 例如input_shape = (128,128,3)代表128*128的彩色RGB图像（data_format='channels_last'）
# 还有SeparableConv2D层、Conv2DTranspose层、Conv3D层、Cropping1D层、Cropping2D层、Cropping3D层、UpSampling1D层、UpSampling2D层、UpSampling3D层
# ZeroPadding1D层、ZeroPadding2D层、ZeroPadding3D层暂时没有接触过，所以就不再赘述，详见keras文档吧！
# 这里添加的是Conv2D层，卷积核数目（即输出的维度）为32,卷积核的宽度和长度均为3，移动步长默认为1，激活函数为relu,use_bias默认有偏置项
# keras的后端是tensorflow，所以data_format选取的是'channel_last'模式
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))

#再添加一层Conv2D层，卷积核数目（即输出维度）为64，卷积核长宽均为3，激活函数还是relu,use_bias默认有偏置项
model.add(Conv2D(64, (3, 3), activation='relu'))

#池化层（Pooling层) 的本质，其实是采样。Pooling 对于输入的 Feature Map，选择某种方式对其进行压缩。
# 例如：表示的就是对 Feature Map 2 * 2 邻域内的值，选择最大值输出到下一层，这叫做 Max Pooling。
# 于是一个 2N * 2N 的 Feature Map 被压缩到了 N * N 。
#Pooling 的意义，主要有两点：其中一个显而易见，就是减少参数。通过对 Feature Map 降维，有效减少后续层需要的参数
#另一个则是 Translation Invariance。它表示对于 Input，当其中像素在邻域发生微小位移时，Pooling Layer 的输出是不变的。
# 这就使网络的鲁棒性增强了，有一定抗扰动的作用
model.add(MaxPooling2D(pool_size=(2, 2)))

# dropout layer的目的是为了防止CNN 过拟合，只需要按一定的概率（retaining probability）p 来对weight layer 的参数进行随机采样，
# 将这个子网络作为此次更新的目标网络。可以想象，如果整个网络有n个参数，那么我们可用的子网络个数为 2^n 。 并且，当n很大时，每次迭代更新
# 使用的子网络基本上不会重复，从而避免了某一个网络被过分的拟合到训练集上。
model.add(Dropout(0.25))

#Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。
model.add(Flatten())

# Dense就是常用的全连接层，所实现的运算是output = activation(dot(input, kernel)+bias)。其中activation是逐元素计算的激活函数，
# kernel是本层的权值矩阵，bias为偏置向量，只有当use_bias=True才会添加。
# 这里输出维度为128，激活函数为relu,默认use_bias使用偏置项
model.add(Dense(128, activation='relu'))

# dropout layer的目的是为了防止CNN 过拟合，只需要按一定的概率（retaining probability）p 来对weight layer 的参数进行随机采样，
# 将这个子网络作为此次更新的目标网络。可以想象，如果整个网络有n个参数，那么我们可用的子网络个数为 2^n 。 并且，当n很大时，每次迭代更新
# 使用的子网络基本上不会重复，从而避免了某一个网络被过分的拟合到训练集上。
model.add(Dropout(0.5))

# 将Densen作为输出层，激活函数为softmax,输出维度与我们label处理的one-hot维度一致
# 激活函数有softmax,elu,selu: 可伸缩的指数线性单元（Scaled Exponential Linear Unit），参考Self-Normalizing Neural Networks
# softplus,softsign,relu,tanh,sigmoid,hard_sigmoid,linear
model.add(Dense(num_classes, activation='softmax'))

#打印出模型概况,它实际调用的是keras.utils.print_summary
#形如：
# _________________________________________________________________
# Layer (type)                 Output Shape              Param #
# =================================================================
# conv2d_1 (Conv2D)            (None, 26, 26, 32)        320
# _________________________________________________________________
# conv2d_2 (Conv2D)            (None, 24, 24, 64)        18496
# _________________________________________________________________
# max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64)        0
# _________________________________________________________________
# dropout_1 (Dropout)          (None, 12, 12, 64)        0
# _________________________________________________________________
# flatten_1 (Flatten)          (None, 9216)              0
# _________________________________________________________________
# dense_1 (Dense)              (None, 128)               1179776
# _________________________________________________________________
# dropout_2 (Dropout)          (None, 128)               0
# _________________________________________________________________
# dense_2 (Dense)              (None, 10)                1290
# =================================================================
# Total params: 1,199,882
# Trainable params: 1,199,882
# Non-trainable params: 0
model.summary()

#编译：优化器optimizer，该参数可指定为已预定义的优化器名，如rmsprop、adagrad，或一个Optimizer类的对象
# 损失函数loss，该参数为模型试图最小化的目标函数，它可为预定义的损失函数名，如categorical_crossentropy、mse，也可以为一个损失函数。
#指标列表metrics：对分类问题，我们一般将该列表设置为metrics=['accuracy']。
# 指标可以是一个预定义指标的名字,也可以是一个用户定制的函数.指标函数应该返回单个张量,或一个完成metric_name - > metric_value映射的字典.
model.compile(loss=keras.losses.categorical_crossentropy,
              optimizer=keras.optimizers.Adadelta(),
              metrics=['accuracy'])
# 训练模型
# fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，
# 如果有验证集的话，也包含了验证集的这些指标变化情况
# batch_size：整数，指定进行梯度下降时每个batch包含的样本数
# pochs：整数，训练终止时的epoch值，训练将在达到该epoch值时停止，当没有设置initial_epoch时，
# 它就是训练的总轮数，否则训练的总轮数为epochs - inital_epoch
# verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
# validation_data：形式为（X，y）的tuple，是指定的验证集。
model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=epochs,
          verbose=1,
          validation_data=(x_test, y_test))

# evaluate函数按batch计算在某些输入数据上模型的误差,返回一个测试误差的标量值（如果模型没有其他评价指标），
# 或一个标量的list（如果模型还有其他的评价指标）。model.metrics_names将给出list中各个值的含义。
score = model.evaluate(x_test, y_test, verbose=0)
print(model.metrics_names)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

# 使用完模型之后，清空之前model占用的内存
K.clear_session()
tf.reset_default_graph()

输出结果：

Using TensorFlow backend.
x_train shape: (60000, 28, 28, 1)
60000 train samples
10000 test samples
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 26, 26, 32)        320       
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 24, 24, 64)        18496     
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64)        0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 12, 12, 64)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 9216)              0         
_________________________________________________________________
dense_1 (Dense)              (None, 128)               1179776   
_________________________________________________________________
dropout_2 (Dropout)          (None, 128)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 10)                1290      
=================================================================
Total params: 1,199,882
Trainable params: 1,199,882
Non-trainable params: 0
_________________________________________________________________
Train on 60000 samples, validate on 10000 samples
Epoch 1/12
60000/60000 [==============================] - 44s - loss: 0.3351 - acc: 0.8990 - val_loss: 0.0755 - val_acc: 0.9745
Epoch 2/12
60000/60000 [==============================] - 45s - loss: 0.1167 - acc: 0.9656 - val_loss: 0.0540 - val_acc: 0.9834
Epoch 3/12

60000/60000 [==============================] - 45s - loss: 0.0904 - acc: 0.9732 - val_loss: 0.0434 - val_acc: 0.9852

Epoch 4/12
60000/60000 [==============================] - 45s - loss: 0.0729 - acc: 0.9784 - val_loss: 0.0381 - val_acc: 0.9881
Epoch 5/12
60000/60000 [==============================] - 44s - loss: 0.0637 - acc: 0.9816 - val_loss: 0.0356 - val_acc: 0.9886
Epoch 6/12
60000/60000 [==============================] - 44s - loss: 0.0578 - acc: 0.9829 - val_loss: 0.0342 - val_acc: 0.9892
Epoch 7/12
60000/60000 [==============================] - 45s - loss: 0.0531 - acc: 0.9845 - val_loss: 0.0328 - val_acc: 0.9892
Epoch 8/12
60000/60000 [==============================] - 45s - loss: 0.0467 - acc: 0.9858 - val_loss: 0.0302 - val_acc: 0.9892
Epoch 9/12
60000/60000 [==============================] - 45s - loss: 0.0442 - acc: 0.9868 - val_loss: 0.0288 - val_acc: 0.9900
Epoch 10/12
60000/60000 [==============================] - 44s - loss: 0.0426 - acc: 0.9872 - val_loss: 0.0281 - val_acc: 0.9907
Epoch 11/12
60000/60000 [==============================] - 44s - loss: 0.0391 - acc: 0.9880 - val_loss: 0.0282 - val_acc: 0.9908
Epoch 12/12
60000/60000 [==============================] - 45s - loss: 0.0379 - acc: 0.9888 - val_loss: 0.0269 - val_acc: 0.9917
['loss', 'acc']
Test loss: 0.0268792195208
Test accuracy: 0.9917