动手学深度学习——学习笔记(Task1)

作为机器学习的一类,深度学习通常基于神经网络型逐级表示越来越抽象的概念或模式。我们先从线性回归和 softmax
回归这两种单层神经网络,简要介绍机器学习中的基本概念。然后,我们由单层神经网络延伸到多层神经网络,并通多层感知机引出深度学习模型。在观察和了解了模型的过拟合现象后,我们将介绍深度学习中对过拟合的常用方法:权重衰减和丢弃法。

线性回归

线性回归输出是一个连续值,因此适用于回归问题。

线性回归模型表示形式

动手学深度学习——学习笔记(Task1)_第1张图片

损失函数

动手学深度学习——学习笔记(Task1)_第2张图片

优化算法

随机梯度下降方法
动手学深度学习——学习笔记(Task1)_第3张图片
动手学深度学习——学习笔记(Task1)_第4张图片

总结

:线性回归基本要素包括模型、训练数据、损失函数和优化算法。

Softmax回归

softmax回归适用于分类问题。

softmax表示形式

动手学深度学习——学习笔记(Task1)_第5张图片

softmax运算原理

动手学深度学习——学习笔记(Task1)_第6张图片
动手学深度学习——学习笔记(Task1)_第7张图片

交叉熵损失函数

动手学深度学习——学习笔记(Task1)_第8张图片

总结

:softmax回归是单层神经⽹络,输出个数等于分类问题中的类别个数;交叉熵适合衡量两个概率分布的差异。

多层感知机

 多层感知机在单层神经网络的基础上引入了1到多个隐藏层(hidden layer)。隐藏层位于输入和输出层之间。

多层感知机表示形式

动手学深度学习——学习笔记(Task1)_第9张图片
数学表达式为
动手学深度学习——学习笔记(Task1)_第10张图片

激活函数

常用激活函数有:
ReLu函数
在这里插入图片描述
动手学深度学习——学习笔记(Task1)_第11张图片
sigmoid函数
动手学深度学习——学习笔记(Task1)_第12张图片
动手学深度学习——学习笔记(Task1)_第13张图片
tanh函数
在这里插入图片描述
动手学深度学习——学习笔记(Task1)_第14张图片

总结:

多层感知机在输出层与输入层之间加上了1个或多个全连接隐藏层,并通过激活函数对隐藏层输出进行变换。

你可能感兴趣的:(动手学深度学习——学习笔记(Task1))