【10大专题，2.8w字详解】：从张量开始到GPT的《动手学深度学习》要点笔记

《动手学深度学习PyTorch版》复习要点全记录

专注于查漏补缺、巩固基础，这份笔记将带你深入理解深度学习的核心概念。通过一系列精心整理的小专题，逐步构建起你的AI知识框架。

从最基础的张量操作，到最新的GPT模型，每个专题都配备了直观的图示和详细的公式解析。

初版笔记以《动手学深度学习PyTorch版》书籍为基准，随后将根据视频讲解和最新论文研读内容进行实时更新。

所有专题都配备了精美的图表和公式推导。除非另有说明，所有图示均源自《动手学深度学习PyTorch版》官方PDF书籍。

✨ 欢迎在评论区提出问题，或是对内容的指正和建议，欢迎关注，点赞，收藏！

基础知识篇

1. 张量，梯度，链式法则的基本概念
   了解深度学习的数学基础，包括张量的概念、梯度计算以及链式法则在神经网络中的应用。

2. 线性回归，softmax回归，多层感知机，激活函数的基本概念
   掌握线性回归、softmax回归的基础知识，多层感知机的结构，以及激活函数对非线性问题求解的重要性。

3. K折交叉验证，欠（过）拟合，权重衰退，暂退法的基本概念
   理解K折交叉验证的机制，识别欠拟合和过拟合的现象，以及权重衰退和暂退法在防止过拟合中的作用。

神经网络篇

4. 前（反）向传播，梯度消失和爆炸，batch normalization
   探索前向传播和反向传播的过程，梯度消失和爆炸问题的成因及其解决方案，以及batch normalization的原理和效果。

卷积神经网络篇

5. 卷积计算，CNN，CNN中的注意力相关概念
   深入理解卷积计算的原理，卷积神经网络（CNN）的结构，以及注意力机制在CNN中的应用。

6. 残差连接相关概念
   学习残差连接的概念，它是如何帮助训练更深的神经网络，以及它在实际模型中的应用。

循环神经网络篇

7. 序列模型，语言模型，RNN的相关概念
   探究序列模型和语言模型的基础，理解循环神经网络（RNN）的结构和特点。

8. GRU，LSTM，encoder-decoder架构，seq2seq的相关概念
   了解GRU和LSTM的工作机制，encoder-decoder架构的设计，以及seq2seq模型的工作原理。

Transformer时代篇

9. 注意力机制，Transformer相关详解
   深入分析注意力机制的原理，以及它如何在Transformer模型中被应用以改善序列处理任务。

10. word2vec，BERT，GPT相关概念
    掌握word2vec的基本思想，BERT和GPT这两种预训练模型的结构和使用方法。