剪枝基础与实战(1): 概述

本文介绍基于L1正则化的剪枝原理，并以VGG网络进行实战说明。将从零详细介绍模型训练、稀疏化、剪枝、finetune的全过程，提供详细的源码及说明，有助于对剪枝的熟练掌握，后续也会对yolov8进行剪枝的介绍。

论文: Learning Efficient Convolutional Networks through Network Slimming

作者对VGG、DenseNet、ResNet进行剪枝，发现模型剪枝50%,模型的精度反而比没有剪枝(BaseLine)的更高，并且剪枝超过60%后还能维持跟BaseLine模型差不多的精度。

本系列博文的安排如下：

1 Prerequisites 前置知识

• CIFAR10 数据集
  • 简介
  • dataset, dataloader
• VGG Network
  • 论文简介
  • 模型结构
  • 神经网络模型搭建
• Batch Normalize
  • 论文简介
  • 具体实现