第十七周学习周报（20180625-2018060701）

第十七周学习周报

一、本周学习情况

       1、李宏毅老师的机器学习课程学完

       2、完成了机器学习课程后面的部分作业

       3、学习了LeNet-5模型

       4、看了caffe识别手写数字的源码

二、学习笔记     

      LeNet

          LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数。

          LeNet-5中主要的有卷积层、下抽样层、全连接层3中连接方式。

          卷积层采用的都是5x5大小的卷积核，且卷积核每次滑动一个像素，一个特征图谱使用同一个卷积核。

          每个上层节点的值乘以连接上的参数，把这些乘积及一个偏置参数相加得到一个和，把该和输入激活函数，激活函数的输出即是下一层节点的值。卷积核有5x5个连接参数加上1个偏置共26个训练参数。这样局部连接、参数共享的方式，在数学上相当于上一层节点矩阵与连接参数矩阵做卷积得到的结果矩阵，即下一层的节点值。

          Output层也是全连接层，共有10个节点，分别代表数字0到9，且如果节点i的值为0，则网络识别的结果是数字i。采用的是径向基函数（RBF）的网络连接方式。假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：

    卷积过程包括：用一个可训练的滤波器f_x去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置b_x，得到卷积层C_x。

    子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量W_x+1加权，再增加偏置b_x+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图S_x+1。

三、下周学习计划

    1、学习李宏毅老师的深度学习课程

    2、学习caffe的源码