第九周学习周报（20180430-20180506）

第九周学习周报

一、本周学习情况

    1、学习了吴恩达老师微专业课《深度学习工程师》

              第一篇：神经网络和深度学习

                  第四周内容：深层神经网络

              第二篇：改善深层神经网络：超参数调试、正则化以及优化

                  第一周内容：深度学习的实用层面

    2、看了阿里云云栖社区的深度学习入门系列文章

              第八章：详细解释了反向传播（BP）算法   

              第九章：主要回顾了卷积神经网络的发展史

              第十章：简单介绍了卷积神经网络以及卷积在图像处理中的应用

              第十一章：卷积神经网络的拓扑结构

               第十二章：卷积神经网络的剩余部分：池化层、激活层和全连接层

               第十三章：循环神经网络（RNN）

    3、看了一篇论文

                Advancing state-of-the-artimage recognition with deep learning on hashtags

二、学习笔记

        BP算法其实并不仅仅是个反向算法，而是一个双向算法。

                两大步走：（1）正向传播信号，输出分类信息；

                                  （2）反向传播误差，调整网络权值。如果没有达到预期目的，重走回头路（1）和（2）。

        BP算法不足，存在“梯度扩散（Gradient Diffusion）”现象。其根源在于对于非凸函数，梯度一旦消失，就没有指导意义，导致它可能限于局部最优。而且“梯度扩散”现象会随着网络层数增加而愈发严重。随着梯度的逐层消减，导致它对调整网络权值的调整效益，作用越来越小，故此BP算法多用于浅层网络结构（通常小于等于3），这限制了BP算法的数据表征能力，从而也就限制了BP的性能上限。

        知道传统CNN（卷积神经网络）的主要特点是“局部连接”、“权值共享”和“局部平移不变性”，其中“权值共享”意味着“计算共享”，它节省了大量计算开销。而RNN则不同，它是随着“时间”深度的加深，通过对参数实施“平流移植”来实现“计算共享”的。

        RNN网络的输出结果不仅和当前的输入相关，还和过往的输出相关。由于利用了历史信息，当任务涉及到与时序或与上下文相关时（如语音识别、自然语言处理等），RNN就要比其他人工神经网络（如CNN）的性能要好得多。RNN中的“深度”，不同于传统的深度神经网络，它主要是指时间和空间（如网络中的隐层个数）特性上的深度。

三、下周学习计划

    1、继续学习吴恩达老师的微专业课程

    2、将云栖社区的深度学习入门系列文章看完

    3、继续看论文

    4、到网上找一个小Demo，动手训练一个模型