Task04 LeeML P13

深度学习简介

深度学习的三个步骤

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）；常用损失函数进行评价
• Step3：选择最优函数（Pick best function）；通常使用梯度下降的方法

深度的理解

• 2012 AlexNet：8层
• 2014 VGG：19层
• 2014 GoogleNet：22层
• 2015 Residual Net：152层
• 101 Taipei：101层
  随着层数变多，错误率降低，随之运算量增大，通常都是超过亿万级的计算。对于这样复杂的结构，我们一定不会一个一个的计算，所以 引入矩阵计算(Matrix Operation)。

整个神经网络的本质–通过隐藏层进行特征转换

把隐藏层通过特征提取来替代原来的特征工程，这样在最后一个隐藏层输出的就是一组新的特征（相当于黑箱操作）。而对于输出层，其实是把前面的隐藏层的输出当做输入（经过特征提取得到的一组最好的特征）然后通过一个多分类器（可以是softmax函数）得到最后的输出y。

手写数字识别举例

上图为手写数字识别的例子。输入为一个16*16=256维的向量，每个pixel对应一个dimension，有颜色用(ink)用1表示，没有颜色（no ink）用0表示；输出为10个维度，每个维度代表一个数字的置信度。

思考

隐藏层越多越好？

从图中展示的结果看，毫无疑问，层次越深效果越好~~

普遍性定理

参数多的model拟合数据很好是很正常的。有一个通用的理论：**对于任何一个连续的函数，都可以用足够多的隐藏层来表示。**那为什么我们还需要‘深度’学习呢，直接用一层网络表示不就可以了？在接下来的课程我们会仔细讲到。