剪枝与重参：剪枝引言

剪枝引言

前言

手写AI推出的全新模型剪枝与重参课程。记录下个人学习笔记，仅供自己参考。

本次课程为引言，主要讲解剪枝的一些基础概念。

课程大纲可看下面的思维导图

1.What、Why and How

问题：什么是模型剪枝？为什么需要剪枝？如何去剪枝呢？

1.1 What

什么是深度学习模型剪枝？

模型剪枝(Model Pruning)指的是在训练好的模型上去除一些冗余或不必要的参数，以达到减小模型大小、提高模型推理速度、降低模型计算复杂度等目的的一种模型压缩技术。

1.2 Why

为什么要学习剪枝呢？

主要有以下三点原因：

• Today’s AI is to BIG!
  • 随着深度学习的发展，现代的神经网络变得越来越大，具有很高的复杂性和参数量。从Transformer的0.05B，GPT-3的170B到GPT-4的上万亿参数，这些庞大的模型需要巨大的计算资源来训练和运行。
• Memory is Expensive
  • 由于深度学习模型的复杂性和参数量增加，模型存储和推理变得昂贵
• Embedding device
  • 深度学习在嵌入式设备上的应用正在迅速增长，然而这些设备通常有非常有限的计算和存储资源

综上所述，模型剪枝是为了减小模型的规模和复杂性，从而提高模型的效率和性能，使得模型可以在资源受限的设备上运行。

1.3 How

如何去剪枝？

模型剪枝可以分为结构化剪枝和非结构化剪枝两种方式。结构化剪枝指的是删除整个卷积核或整个神经元，而非结构化剪枝则是删除一些单个的、独立的参数。常用的模型剪枝算法有L1正则化、L2正则化、网络修建、剪枝比率等。

总结

本次课程为导言部分，学习了what、how and why剪枝。