卷积神经网络压缩参数加速(二)---低秩估计

上篇讲述了卷积神经网络网络压缩的理论基础,包含filter层面、channel层面、group层面和稀疏矩阵。

本篇博客将总结一下低秩估计的方法,低秩估计主要分为矩阵分解和张量分解。

一、矩阵分解

卷积神经网络压缩参数加速(二)---低秩估计_第1张图片

 

如上图中两个矩阵相乘,每个向量相乘所需要的计算次数为b个乘法,b-1个加法,共a*c*(2b-1),通常情况下加法的速度比乘法的速度快很多,并且后面求比例时可以约掉,为了方便计算,计算为a*b*c。

卷积神经网络压缩参数加速(二)---低秩估计_第2张图片

SVD分解后,参数压缩比为\frac{a*b}{c(a+b+c)}

卷积核矩阵可以通过SVD分解为如下:

卷积神经网络压缩参数加速(二)---低秩估计_第3张图片

上图中的a在为K_{H}K_{W}C_{in}, b为C_{out}

卷积神经网络压缩参数加速(二)---低秩估计_第4张图片

 

将三个矩阵压缩为上图三个矩阵,中间的矩阵仅保留前r个奇异值,第一个矩阵行数不变,列变为r,第二个矩阵变为r*r,第三个矩阵变为r*C_{out}

P=U\cdot \Lambda ^{1/2} 

   Q^{T} = \Lambda ^{1/2}V^{T}

原始矩阵乘法记为C=A\cdot B

B为参数矩阵,A为输入特征矩阵,C为输出矩阵。

则  B=U\Lambda V^{T} = PQ^{T}

C=A(PQ^{T}) = (AP)Q^{T}得到输出矩阵

通过矩阵之间的乘法我们可以计算出,P为K_{H}K_{W}C_{in}*r的矩阵,Q^{^{T}}C_{out}*r的矩阵

矩阵乘法通常使用卷积操作来实现

于是我们可以通过两个卷积操作来完成两次矩阵乘法,分别为(AP):K_{H}K_{W}C_{in},输出通道为r,步长为原来卷积步长的卷积,和(AP)Q^{T}一个1*1*r,输出通道为C_{out}步长为1的卷积。

 

二、张量分解

下面来介绍一下Tucker分解

Tucker分解将原本的一个卷积操作分解为3个卷积操作,分别为一个1*1卷积,1个原始K_{H}K_{W}卷积,1个1*1卷积,输入通道数分别为C_{in},R3,R4,其中R3和R4是相同量级的数。

未完

你可能感兴趣的:(深度学习,计算机视觉)