keras例程学习与神经网络理解（一）

keras的example文件夹中有很多例程，学习mnist_mlp.py例程

该例程实现功能为，从mnist数据集获取60000个训练样本和10000个测试样本，样本为0-9十个数字，用全连接神经网络进行训练，并测试结果。

例程采用60000个数据样本进行训练，对于一般的电脑来说，这样训练会比较费时间，学习测试较慢

所以，可以加入以下几行代码：

# mnist has 60000 datas,down to 6000 to accelerate
x_train=x_train[:6000]

y_train=y_train[:6000]

将原始60000个样本只取前6000个样本进行训练

例程的核心代码为（部分数值有修改）：

model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(784,)))
model.add(Dropout(0.2))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.2))

model.add(Dense(num_classes, activation='softmax'))

依次讲解：

model.add(Dense(512, activation='relu', input_shape=(784,)))

为model添加Dense层，即全链接层，该层有784维输入，512为输出

model.add(Dropout(0.2))

添加Dropout层，训练时概率性丢弃

model.add(Dense(64, activation='relu'))

再次添加Dense层，64维输出（输入为前一层，512维）

model.add(Dense(num_classes, activation='softmax'))

再次添加Dense层，10维输出（num_classes=10，即0-9十个数字）

所以我们大致能够知道，神经网络是输入784维，第一层512维，第二层64维，输出10维。

在例程末尾，可以添加两句

model.summary()

print (model.get_weights())

即打印训练出的model的概况和权值

程序运行结果如下：

测试准确率0.9515（这个准确率不重要，重要是理解程序和深度学习的原理）

下面我们能看到各层的参数概况，跟我们预想一致，784维输入，第一层512维，第二层64维，第三层10维

第三列param是本层的参数数量

这里有个问题还没搞明白：

第一层784输入，512输出，参数个数应当是784×512=401408，但打印结果为401920=785×512

类似的，第二层参数个数32832=513×64

为什么每层的参数数量是（输入维度+1）×（输出维度），这个+1是哪来的，求教。