李宏毅机器学习笔记——深度学习

思维导图

本节课由机器学习过渡到深度学习。如果理解了机器学习的原理及算法的三步骤，就可以很自然地将ML的内容迁移到DL中。 因为ML与DL的学习步骤是完全一样的。最大的区别就是DL的学习函数变成了含有许多层的隐藏层。

神经网络

神经网络的最基本的单位叫做神经元。每一个神经元中都包含有一个函数(如sigmoid函数)。特征输入作为输入层（input layer），输入后与参数w和偏差b进行结合(如：wx+b)作为神经元的输入。输入神经元中就相当于是在神经元中进行了一个约束函数的计算。计算好的结果会作为输出进入下一层的神经元中。下一层神经元又有各自不同的w和b，与上层输出一起结合在该层的神经元中进行约束函数的计算。 一直到输出层（output layer）。输出层输出的结果就是最终的预测值y。

若继续往下深究，经过一次神经网络得到的预测值会与真实值进行损失函数Loss的计算。并可以通过优化(如：梯度下降)的方法更新神经网络中的w和b。通过不断地迭代，得到最终的w* 和 b*。

其实这样想来，就能顿悟：ML与DL确实有异曲同工之妙。

矩阵运算

一般来说，数据在模型中都是转换成向量的形式，以方便使用矩阵进行运算。而矩阵运算在计算机中能够很方便快速的计算出来。所以使用矩阵的形式，再结合GPU运算，就能极大提高训练的速度，缩短训练时间。

做法简说

总结来说，DL的输入和输出都是固定的。甚至，DL可以直接把所有特征丢进神经网络中，由神经网络来挑选它认为最佳的特征。因此在进行DL的研究任务时，我们最主要的任务就是设计其中的神经网络结构，比如：设计神经元的个数，每层神经网络应该放置多少个神经元，应该设计多少层神经网络，各层神经网络之间的连接方式，神经元里的约束函数设计…… 这么看来，DL的研究过程仍然任重道远。

下图为辨认图片中数字的举例说明。