深度学习入门—反向传播

Datawhale202211李宏毅《机器学习》（深度学习方向）P13-P14

深度学习入门介绍+反向传播手推

---

---

前言

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的大热门深度学习的相关内容，主要介绍反向传播这一知识点。

---

一、DL的发展趋势

• 1958：Perceptron

感知器本质上是一种线性模型，可以对输入的训练集数据进行二分类，且能够在训练集中自动更新权值。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。

• 1986：BP算法

BP算法在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题，让人工神经网络再次的引起了人们广泛的关注。

• 2012:Alexnet夺冠

AlexNet采用ReLU激活函数，从根本上解决了梯度消失问题，并采用GPU极大的提高了模型的运算速度。

• 2022-未来

• 规模仍然是重要因素
• 无监督学习继续交付
• 多模态杀疯了
  -基本问题仍然存在

二、DL的三个步骤

神经网络

• 基本形式：全连接与前馈

输入层：1层
隐藏层：N层
输出层：1层

全连接：层之间两两互联，所有叫做Fully Connect;
前馈：描述计算方向，由前向后计算，所有叫做Feedforward;

• 细节理解
  1.深度：Many hidden layers——提取特征
  

2.矩阵运算：提升计算效率。

模型评估

• 采用交叉熵（cross entropy）函数来对y和y^
  ​的损失进行计算，通过调整参数，让价差熵越小越好。
  
• 计算全局损失需要把所有训练数据的损失相加得到L，接下来就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数θ，来最小化总体损失L

选择最优函数

• 用梯度下降的方法选择最优函数，详细内容参见上期博客。

三、反向传播

基本概念

• 损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的，用L表示。
• 代价函数(Cost function)是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。
• 总体损失函数(Total loss function)是定义在整个训练集上面的，也就是所有样本的误差的总和。也就是平时我们反向传播需要最小化的值。

涉及知识点

• 梯度下降
• 链式法则
• 前向传播
  

手推算法

以下手推BP算法可以对其作用有更好的认识：
用来更新参数，让其更加接近真实值。



（所演示的是最基础的模型，更复杂的结构可以添加激活函数、调整学习率等，让模型性能更好）

温馨提示：
大家要多尝试手推，推一次就可以很好地理解很多概念，效率upup!!!

四、参考文档

来自Datawhale的投喂

李宏毅《机器学习》开源内容1：
https://linklearner.com/datawhale-homepage/#/learn/detail/93
李宏毅《机器学习》开源内容2：
https://github.com/datawhalechina/leeml-notes
李宏毅《机器学习》开源内容3：
https://gitee.com/datawhalechina/leeml-notes

来自官方的投喂

李宏毅《机器学习》官方地址
http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
李沐《动手学深度学习》官方地址
https://zh-v2.d2l.ai/

来自广大网友的投喂

DL的发展历史
点这里查看
2022深度学习发展趋势
https://new.qq.com/rain/a/20221026A05R1700

---

总结

1.本节是前后内容的连接部分，通过手推BP算法，把前后学过的概念都有了更进一步的理解，感觉非常快乐。
2.这里终于来到深度学习，课程的总结精炼到位，配合更详细的内容拓展学习效果很好。
3.感谢Datawhale的小伙伴们，特别是组织直播的助教小哥哥小姐姐，这节收获颇丰。