NNDL实验 知识点梳理

目录

实验内容

编程基础

机器学习基础

FNN

CNN

RNN

网络优化与正则化

扩展实验

建议自学实验

实验基本步骤

实验涉及知识点

知识点相关细节

更多细节

---

实验内容

编程基础

NNDL 实验一 numpy

NNDL 实验二 pytorch

机器学习基础

NNDL 实验三 线性回归

NNDL 实验四 线性分类

FNN

NNDL 实验五 前馈神经网络（1）二分类任务

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

NNDL 实验五 前馈神经网络（3）鸢尾花分类

CNN

NNDL 实验六 卷积神经网络（1）卷积

NNDL 实验六 卷积神经网络（2）基础算子

NNDL 实验六 卷积神经网络（3）LeNet实现MNIST

NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

RNN

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

NNDL 实验七 循环神经网络（2）梯度爆炸实验

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

网络优化与正则化

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

扩展实验

NNDL 实验七 循环神经网络（4）基于双向LSTM的文本分类

 NNDL 实验八 网络优化与正则化（2）批大小的调整

 NNDL 实验八 网络优化与正则化（4）参数初始化-Xavier

NNDL 实验八 网络优化与正则化（5）逐层规范化

NNDL 实验八 网络优化与正则化（6）网络正则化

建议自学实验

NNDL 实验九 注意力机制

实验基本步骤

做了16个实验，套路基本是一样的。同学们经过一个学期的反复训练，相信已经掌握规律。

自建或者调用已有数据集 → 建立模型 → 前向传播 → 计算损失函数 → 求损失函数对参数的梯度 → 误差反向传播  → 使用梯度下降法更新参数  → 模型再次计算  → 损失函数收敛（不收敛需要修改） → 达到预期目标停止训练 （ 没达到继续训练）  → 存储最优模型  → 检验  → 预测

忙了一学期，其实就学了这点东西。这点东西为什么还觉得挺辛苦？

“说起来容易，做起来难”，每一个步骤都会遇到很多问题。

实验涉及知识点

数据预处理、参数初始化、批归一化、交叉熵损失函数、准确率、预测、优化、正则化……

每次实验都要考虑以上问题，效果不好还要调整，做好一次实验很辛苦。

只用Pytorch自带的各种算子做实验，还不算辛苦，更辛苦的是自己做各种算子。

打开“黑盒”看内部结构，正是本学期学习的精华。

从损失函数到激活函数，从各种反向传播（BP、CNN BP、BPTT、LSTM BP、BN BP）到各种优化器，从参数初始化到超参数优化，打开一个又一个“黑盒子”，从此懂了更多的原理，不再是那个曾经的“调参侠”。

大话卷积神经网络CNN（干货满满） - 调参侠

知识点相关细节

图片越来越复杂，涉及的知识点越来越细。

只有亲手把“黑盒子”都打开看看，才能深谙其中的奥妙。

16次实验，12次作业，每一篇博客背后都有着很多故事。

白天与黑夜，盛夏到寒冬，一次次跌倒，一次次爬起，经历风雨，终见彩虹。

没有人能随随便便成功，多年后再看2022，会感谢那个拼搏的自己。

更多细节

 

上面那些只是实验常用知识，还有更多的理论基础：抽象的公式推导，高等数学、线性代数、概率轮、统计学、最优化方法的应用。

---

更多细节内容可参考：NNDL 知识点梳理

---

REF：

神经网络与深度学习 (nndl.github.io)