【深度学习】P1 Deep Learning 简介

什么是深度学习

深度学习，deep learning，是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。而深度学习中“深度”一词，指的是使用多层神经网络。

所以简单来说，深度学习，是在多层神经网络中进行表征学习的算法。

深度学习运用封层抽样的思想，更高层次的概念从低层次的概念中学习得到。这一分层结构常常使用贪心算法逐层构建而成，并从中选取有助于机器学习的更有效的特征。

---

深度学习网络结构

卷积神经网络、循环神经网络是深度学习中两种非常重要的网络结构，他们分别擅长处理不同类型的数据：

• 卷积神经网络（CNN）：CNN 在图像处理领域大放异彩，能够有效的识别和分类图像中物体。CNN 的关键特点是卷积层，因为其能够识别图像中的局部特征，如边缘、纹理和形状。此外，CNN 还具有池化层，用于减少数据的空间尺寸，同时还能保留重要的局部信息。
• 循环神经网络（RNN）：RNN 适合处理序列数据，如时间序列分析、语音识别和自然语言处理。RNN 的重要思想是能记忆之前的信息，并将这些信息用于当前的计算。著名的长短时记忆网络（LSTM）是 RNN 的一种变体，能够更好地处理长序列数据，防止梯度消失和梯度爆炸地问题。

除了上述 CNN 与 RNN 外，深度学习框架还通常包含诸如 FNN、GAN 等其他类型的网络结构，如：

• 全连接神经网络（FNN）：也称 MLP 多层感知器，其特点是每个层中的神经网络都与上一层的所有神经元相连。FNN 适合处理结构化数据。
• 生成对抗网络（GAN）：GAN 由生成器和判别器组成，通过对抗训练过程相互学习。生成器生成数据，判别器判断数据的真伪。GAN 在图像生成、数据增强和其他生成任务中表现出色。

还有其他神经网络，不胜枚举。

---

深度学习重要历史节点

• 1943年，神经网络概念的提出：论文《逻辑计算机器的数学理论》提出了神经网络的基本概念。
• 1958年，感知机的发明：感知机，一种最简单的神经网络，能够进行线性分类。
• 1986年，反向传播算法的提出：反向传播算法，一种有效的多层神经网络的训练方法。
• 2006年，深度学习的复兴：深度置信网络的诞生，标志着深度学习的研究复兴。
• 2012年，ImageNet图像大赛的突破：卷积神经网络在 ImageNet 图像识别大赛中取得了突破性的成就；
• 2014年，AlphaGo诞生：Google DeepMind开发的AlphaGo程序采用深度学习技术，首次战胜职业围棋对手；
• 2015年-2016年，语音识别的突破：深度学习技术使得语音识别的准确率大幅升高，各大公司纷纷推出基于深度学习的语音识别服务；
• 2017年，Transformer模型的提出：Transformer模型彻底改变自然语言处理的面貌，为后来BERT、GPT等模型奠定了基础。

---

常见深度学习库

• PyTroch
• TensorFlow
• Theano
• Paddle
• Caffe
• Keras
• MXNet

---

发布：2024/2/2
版本：第一版
如有任何疑问，请联系我，谢谢！