Homework

Homework_week1

homework-week1.png

学习率和准确率直方图

权重初始值使用正态分布随机值的学习率和准确率直方图

偏移初始值使用正态分布随机值的学习率和准确率直方图

权重和偏差初始值都使用正态分布随机值的学习率和准确率直方图

权重和偏差初始值都使用正态分布随机值的学习率和准确率直方图truncated_normal

Homework_week2

之前第一周的作业，图表生成使用了Pygal这个好用的图表库，这次学习了TensorFlow的辅助平台TensorBoard，也就学以致用了。

homework-week2.png

实验部分

1、
两层卷积5×5卷积核最大池化方式训练过程：

image.png

一层卷积5×5卷积核最大池化方式训练过程：

image.png

可以看出，在训练次数不是很大时，准确率大体上是比两层卷积低；当训练次数足够大时，准确率能够稳定在0.98左右，而两次卷积能够稳定在逼近1.0。

两层卷积5×5卷积核平均池化方式训练过程：

image.png

对比最大池化方式，训练曲线显得平滑一些，这是一个容易理解的结果。

两层卷积3×3卷积核平均池化方式训练过程：

image.png

随着训练次数增多，3×3的效果与5×5的非常接近，但是5×5的更快达到较高准确率。

2、不使用TF封装的命令，在代码量上明显增多了，但是能让自己对其中的数学原理理解更为深刻。经过调试，正确性基本可以保证，效率上会低一点。

理论部分

池化层BP计算公式推导目前还存在问题，我会在本周内解决余下问题并更新到文档上。