- 写在前面
- 课程1: 深度学习简介
- 找合适的函数
- 评价函数
- 选择深度而非广度
- DIY
- 课程2： 训练深度网络的注意事项
- 选择合适的损失函数
- Mini-batch
- 换一个激活函数
- 自适应梯度下降比率
- 动量
写在前面
刚看到标题一天搞懂深度学习，还以为是用类比的方式，从比较文科的角度来解释深度学习。点开看到第一页我的第一反应是。。。怎么这么眼熟啊，这不是台大的本科生课程吗。。他的第一个介绍视频讲了这门课程在台大开设了好几年，在学生里口碑不错。
然后这个英文PPT中文讲解的魔幻现实主义我是接受不来的了。
因为之前上过机器学习的一些课程看过一些书，所以前两个演讲(Lecture)我就粗略看了一遍。第一感觉是，这个演示文稿就是他上课的时候用的，字面来看也的确如此。也就意味着，很多东西细节会在上课的时候讲，文档中只有上课内容的主要内容和脉络。
课程1: 深度学习简介
要简介深度学习，当然要从机器学习说起，毕竟深度学习不过是机器学习里面一个新近的热门分支，机器学习本质上又是模式识别。所以文档里用了很浅显的语言说明了深度学习的三步骤：
- 找一组合适的函数
- 评价函数好坏
- 择优
找合适的函数
这里介绍了神经网络的基本形式，介绍了核函数或者叫激活函数(activation function)、参数(parameters)、层数(layers)合适的神经网络，以及前向传递的计算方式。个人觉得，所谓前向传递，不过是根据代入定理得到的函数嵌套，比方说计算f(g(x))就是先算出g=g(x)的值再代入求出f(g)。
神经网络无非输入层，隐藏层，输出层，以及传递函数，文档中浅显介绍了这些部分。在输出层，选讲了Softmax输出函数，这一函数的优势是可以实现多分类，基于概率论的知识。
最后有个FAQ，对于选多少层以及每层多少神经元比较合适，教授给的答案是 试错+直觉。还有个问题是，有没有一种机智的办法来自动确定神经网络的结构。说起来，这页展示不能叫FAQ啊，这个问题只有问没有答算什么鬼啦。一种可能的解释是，“你们这些考前看课件上课不好好听还翘课的同学，现在发电邮问我还来得及哦”。
评价函数
评价函数(神经网络)好坏，必然要引入花费函数的概念(cost function)，这里用的词是总开销（total loss）。花了不少篇幅介绍了经典的梯度下降法，大概是因为图多吧，前面内容估计也讲的也不少，只是图少，所以文档篇幅上梯度下降更多。
然后几乎以课外拓展的形式介绍了反向传递。对因于前向传递的代入定理，这里用的是对嵌套函数或者说多层函数求微分，也就是先把稍里面一层的所有函数当作一个变量，先求出最外层函数的微分，再如发炮制逐层求微分,即
![][1]
[1]: http://latex.codecogs.com/gif.latex?\frac{df(g(x))}{dx}=\frac{df(g(x))}{dg(x)}\frac{dg(x)}{dx}
非常遗憾的是，一般课程里面的重点难点，即梯度的计算，文档里没有提到。当然，还是给了解决方案的：人家都写好了函数了啦，你调用ta就可以得到梯度了，不用知道怎么算了啦。
选择深度而非广度
这部分解决的问题是，为什么选择增加层数，而不是增加隐藏层的神经元。
这里教授拿数字电路和神经网络做了个对比。虽然这部分内容只适合于电子工程(EE, Electronic Enginreeeing)专业的学生，这么说起来这门课在台大居然是供不同专业来学习的，换句话说，居然有好多专业要学深度学习课程(也可能是公选课)，心疼台大同学一秒。言归正传，神经网络里的神经元就像是门电路，两层门电路级联可以实现所有的布尔函数，所以多几层门电路来实现复杂功能更简单。开玩笑，单层门电路怎么实现复杂功能啊摔。这不是简单不简单的问题，这是做不做得到的问题啊。
从数学一点的角度讲，就是多层函数可以让得到的函数更复杂，经过层层映射，一个线性函数可以变成非线性极强的函数。（本段描述需要进一步规范化）
然后从信息提取精度的角度讲了为什么要用多层函数。多层函数可以用更少的数据得到更复杂的非线性划分，这和刚刚所讲的是一个问题的两个角度。
这里讲了Modulation，我不太清楚这个单词的意思，文档里面也是几张示意的图，离开了先验知识和课堂上的描述根本看不懂他想讲什么。粗略的看，可能是在解释深度神经网络的现实意义。我这么猜是因为教授用了经典的卷积神经网络处理图像的例子。虽然教授没说，但是看图本身，就是卷积神经网络的卷积核可以提取出一些有用特征，这样一层一层下去，就可以分别复杂事物了。上个世纪的研究显示人类视觉也是这样的，不如说，正因为科学家发现人眼是这样，才启发了从事机器学习和神经网络研究的科学家们发明了卷积神经网络。
DIY
然后就是实践了，因为教授以keras库为例子，我就懒得看了。之前学的是theano库，后来觉得学得太累，理论部分讲的很粗略，分明是写给同行的，目的是为了消除歧义而是教育，因此转向别的书开始学理论。然而最近忙于别的事情，还没怎么看。
话说。。。Keras库居然是基于theano的，那么求梯度也是用theano提供的函数咯。不过theano的确像是个更底层的轮子，要跑算法还得写很多代码。大概Keras就是为了给关心应用不关心实现的用户提供抽象的封装。
课程2： 训练深度网络的注意事项
一开始介绍了过拟合。所谓过拟合，就是在训练集效果不错，跑检验数据的时候，正确率不如人意的情况。话说我好像没看到他哪里有讲训练神经网络的时候要分一部分作为训练数据，一部分作为检验数据啊。这是在DIY部分讲的吗，DIY部分基本只有不带注释的代码和图片，没什么描述啊。、
另一方面，又讲了不要总是怪过拟合，实际上可能是训练的不好。一个例子是经过相同的迭代次数，56层神经网络的错误率总是高于20层神经网络的错误率。这一现象在训练集和检验集中都有体现。
选择合适的损失函数
Mini-batch
换一个激活函数
自适应梯度下降比率
动量
动量这个光看名字不知所云，实际上类似于惯性。