李宏毅2020ML——P43-48Network Compression网络压缩

Network Compression

  • introduce
  • 5个方法
    • network Pruning
    • Knowledge Distillation
    • Parameter Quantization
    • Architecture Design
    • Dynamic Computation

introduce

为什么需要压缩?

是因为我们需要ML可以运用到更多的地方
李宏毅2020ML——P43-48Network Compression网络压缩_第1张图片

5个方法

network Pruning

简单思想:网络清理,把一个大的Network去剪掉一些不必要的weight和neuron

现在普遍的网络都是冗余的
李宏毅2020ML——P43-48Network Compression网络压缩_第2张图片
对于网络剪枝的一般步骤:
李宏毅2020ML——P43-48Network Compression网络压缩_第3张图片
那我们为什么需要去剪枝呢?为什么不在一开始就去训练一个小的NN呢
李宏毅2020ML——P43-48Network Compression网络压缩_第4张图片
有一个彩票假说也说明了这个问题
李宏毅2020ML——P43-48Network Compression网络压缩_第5张图片
但是还有一篇Paper得到的结论完全相反
李宏毅2020ML——P43-48Network Compression网络压缩_第6张图片
那么既然需要剪枝,那么见到weight和剪掉neuron哪一个更好呢
李宏毅2020ML——P43-48Network Compression网络压缩_第7张图片
剪掉weight并没有加速多少
李宏毅2020ML——P43-48Network Compression网络压缩_第8张图片
剪掉neuron才会有更好的结果
李宏毅2020ML——P43-48Network Compression网络压缩_第9张图片

Knowledge Distillation

知识蒸馏:基本思想先训练一个大的NN,让小的NN去模拟大的NN
李宏毅2020ML——P43-48Network Compression网络压缩_第10张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第11张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第12张图片

Parameter Quantization

参数量化:
李宏毅2020ML——P43-48Network Compression网络压缩_第13张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第14张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第15张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第16张图片

Architecture Design

体系结构设计:调整架构设计

在实战中最有效的方法

多加入一个linear model 减少参数
李宏毅2020ML——P43-48Network Compression网络压缩_第17张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第18张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第19张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第20张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第21张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第22张图片

Dynamic Computation

动态计算法

李宏毅2020ML——P43-48Network Compression网络压缩_第23张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第24张图片
李宏毅2020ML——P43-48Network Compression网络压缩_第25张图片

你可能感兴趣的:(李宏毅2020ML,深度学习,网络,人工智能,神经网络)