动手学深度学习——学习笔记（Task1）

作为机器学习的一类，深度学习通常基于神经网络型逐级表示越来越抽象的概念或模式。我们先从线性回归和 softmax
回归这两种单层神经网络，简要介绍机器学习中的基本概念。然后，我们由单层神经网络延伸到多层神经网络，并通多层感知机引出深度学习模型。在观察和了解了模型的过拟合现象后，我们将介绍深度学习中对过拟合的常用方法：权重衰减和丢弃法。

线性回归

线性回归输出是一个连续值，因此适用于回归问题。

线性回归模型表示形式

损失函数

优化算法

随机梯度下降方法

总结

：线性回归基本要素包括模型、训练数据、损失函数和优化算法。

Softmax回归

softmax回归适用于分类问题。

softmax表示形式

softmax运算原理

交叉熵损失函数

总结

：softmax回归是单层神经⽹络，输出个数等于分类问题中的类别个数；交叉熵适合衡量两个概率分布的差异。

多层感知机

 多层感知机在单层神经网络的基础上引入了1到多个隐藏层（hidden layer）。隐藏层位于输入和输出层之间。

多层感知机表示形式

数学表达式为

激活函数

常用激活函数有：
ReLu函数


sigmoid函数


tanh函数

总结：

多层感知机在输出层与输入层之间加上了1个或多个全连接隐藏层，并通过激活函数对隐藏层输出进行变换。