对一篇深度学习笔记理解

这个课程笔记记录得实在不错，将大部分的要点都归纳出来了。

        一个系统具有的复杂结构如果用一个合适函数来表达可能是一个具有多个层级嵌套的复杂函数，比如 sin(log(N(2,6)*5)+∂z/∂X-∬g(x,y)dxdy-A⨂B-6) ⋯1️⃣，深度学习的深度体现在网络结构的多层（CNN中体现为卷积核与输入的矩阵内积计算得到的特征的数量），CNN模型中卷积运算是一种线性运算（类似人工神经元中加权求和部分），实现特征识别，非线性激活函数（与神经元中激活函数一样）叠加，这又是一个模型，可以认为是模型2️⃣，后层的函数复合可以无限逼近某个函数，如前面举例的那个。通过这种方式可以得到对象的 高层统计 结果和 语义特性，这就是深度学习中的特征学习的结果。这个过程都是自动完成的。学习过程就是在模型2️⃣中通过调整参数（CNN中就是卷积核/滤波器/ 方阵的元素值）和确定连接方式让其得到的函数来逼近11️⃣这个函数。

       深度学习需要考虑计算资源开销（物理约束）和训练出模型的过拟合问题（预测效果），它们成为两个约束条件。学习过程有训练和验证两个过程。训练过程由数据、模型、优化目标函数、求解四个有机组成部分串起，在四个过程中针对两个约束（计算资源有限、拟合恰当）需要采取不同策略。

       1、数据需要预处理。规约和降维。  

       2、选择模型时，针对不同对象决定选CNN还是RNN等，如图像识别一般是CNN。采用 稀疏连接 和 权值共享 同时满足约束条件，具体通过 丢包层 Dropout 让某些连接随机变成0（只在训练阶段使用，验证阶段不用），通过池化实现权值共享，实现降低维度使得计算量大为降低，同时有效降低结构风险。超参数（如隐藏层的 ReLU 等激活函数和输出层的 softMax等分类函数，卷积核的大小等）的选择至关重要。  

      3、优化目标函数的时候，通过正则化方法引入合适的惩罚项降低结构风险，如L1范数方法更容易让连接层中出现稀疏性，尽管我们在一般的正则化中更易使用L2范式   。

4、求解 是一个典型使用算法过程，利用反向传播通过迭代方式来不断更新权值。一般使用随机梯度下降法来估计参数。利用 迁移学习 方法让除去全连接层后的其他部分参数（权值，卷积核）开始时不是随机赋值，能大大减少训练时间。 对于图像识别，如果图像存在旋转、变形、缩放、折叠等会让识别过程计算量大为增加，传统方法是最大化池化层来实现提取特征对象的相对位置（不是绝对位置），这需要修改CNN的主要结构。Google 通过加入空间变形模块Spatial Transformer module对输入图像进行仿射变换的简单功能从而让模型拥有了很强的形变、伸缩、旋转不变 。模块将输入图像进行某种变形从而使得后续层处理时更加省时省力。这从改造模型结构变为对输入图像进行改造。当然大神 Hinton 推出的 Capsule 通过对图像添加坐标降低计算量，至于说的要革 梯度下降方法的的命还没有看明白。

        这个笔记把要点都很好的总结了，逻辑性非常强，实在是值得一看，当然前提是要对这一领域有相当的了解才能明白，相信记录整理者有相当的水准，而且笔记的颜值好高，羡慕，这个笔记完全可以作为复习和整理思路的重要工具了。    笔记如下

http://mp.weixin.qq.com/s/0yXQyUyHOHcn_K7pNbEwiQ