DAY-7 神经网络压缩综述

DAY-7 神经网络压缩综述

原文连接:https://bbs.cvmart.net/articles/313

  • 模型裁剪/剪枝(Pruning)

    • 单个权重(Weight)剪枝——非结构化
    • 核内权重(Intra Kernel Weight)剪枝/核的稀疏化——结构化
    • 卷积核(Kernel/ Filter)/特征图(Feature Map)/通道(Channel)剪枝——结构化
    • 中间隐层(layer)剪枝
  • 网络分解(张量分解)

    • CP分解
    • SVD分解
    • Tucker分解
    • 张量列分解(Tensor Train , TT)
    • 其他
  • 权值共享

    • 结构化矩阵
    • 哈希
    • 其他
  • 权重量化(quantization)

    • 定点运算
    • 二值化、三值化
    • 其他
  • 迁移学习/ 网络精馏

  • 计算加速

  • 对数据进行变换

你可能感兴趣的:(极市CV21天学习记录)