【论文学习】快速卷积方法——Winograd 变换

论文:Fast Algorithms for Convolutional Neural Networks

本博客关注于论文中Winograd 变换部分

        在1D,2D和多维度中,最小算法需要等于输入数量的多次乘法。 换句话说,为了计算F(m,r),我们必须访问m + r-1个数据值的间隔,并且为了计算F(m×n,r×s),我们必须访问(m + r- 1)×(n + s-1)数据值。 因此,最小滤波算法需要每个输入一次乘法。

1、F(2x2,3x3)

        F(2,3)的标准算法使用2×3 = 6乘法.Winograd [16,p。 43]记录了以下最小算法:

【论文学习】快速卷积方法——Winograd 变换_第1张图片

 

        该算法仅使用4次乘法,因此通过公式μ(F(2,3))= 2 + 3 - 1 = 4最小化。它还使用涉及数据的4个加法,3次加法和2次乘法, 过滤器(总和g0 + g2可以计算一次),另外4个加法将产品减少到最终结果。

        快速滤波算法可以以矩阵形式写成:

       其中@表示元素乘法。 对于F(2,3),矩阵为:

【论文学习】快速卷积方法——Winograd 变换_第2张图片

       最小1D算法F(m,r)自身嵌套以获得最小2D算法,F(m×m,r×r)如下:

        其中现在g是r×r滤波器,d是(m + r-1)×(m + r-1)图像瓦片。 通过将F(m,r)的算法与F(n,s)的算法嵌套,可以将嵌套技术推广到非平方滤波器和输出F(m×n,r×s)。

        F(2×2,3×3)使用4×4 = 16乘法,而标准算法使用2×2×3×3 = 36。这是36/16 = 2.25的算术复杂度降低。 数据变换使用32个加法,滤波器变换使用28个浮点指令,逆变换使用24个加法。

        F(m×m,r×r)的算法可用于计算具有r×r内核的交集层。 每个图像通道被分成尺寸(m + r-1)×(m + r-1)的瓦片,r-1个相邻瓦片之间的重叠元件产生P =ΔH/m≤W/ m 然后对每个通道中的每个瓦片和滤波器组合计算C.F(m×m,r×r),并将结果在所有通道上相加。

      构建U = GgGT和V = BTdB,我们有:

       将瓦片坐标标记为(x,y),我们将单个图像i,滤波器k和瓦片坐标(x,y)的交换图层公式(2)重写为:

【论文学习】快速卷积方法——Winograd 变换_第3张图片

2、F(3x3,2x2)

        使用随机梯度下降训练网络需要相对于输入和权重计算梯度。 对于一个三角形网络层,相对于输入的梯度是下一层反向传播误差(尺寸为N×K×H×W)与层的R×S滤波器的翻转版本的卷积。 因此,可以使用与正向传播相同的算法进行计算。

        相对于权重的梯度是层输入与反向传播误差的卷积,产生每个滤波器和通道的R×S个输出。 因此,我们需要计算卷积F(R×S,H×W),这是不切实际的,因为我们的快速算法的H×W太大了。我们将这个卷积分解成一个较小的卷积的直接和,例如F( 3×3,2×2)。算法的4×4瓦片在每个维度上重叠2个像素,3×3输出在所有瓦片上求和,形成F(3×3,H×W)。

【论文学习】快速卷积方法——Winograd 变换_第4张图片

        对于(3 + 2-1)2 = 16乘法与直接卷积的3×3×2×2 = 36乘法,它实现与相应的正向传播算法相同的36/16 = 2.25算术复杂度降低。

3、F(4x4,3x3)

【论文学习】快速卷积方法——Winograd 变换_第5张图片

        数据变换使用12个浮点指令,滤波变换使用8,逆变换使用10。

        应用嵌套公式对于使用6×6 = 36乘法的F(4×4,3×3)的最小算法,而标准算法使用4×4×3×3 = 144.这是算术复杂度降低4。

        2D数据变换使用12(6 + 6)= 144个浮点指令,滤波变换使用8(3 + 6)= 72,逆变换使用10(6 + 4)= 100。

        最小Winograd变换所需的加法和常数乘法的数量随着瓦片大小而二次增加[10,p。 211]。因此,对于大的瓦片,变换的复杂性将压倒乘法数量的任何节省。

        变换矩阵元素的大小也随着瓷砖尺寸的增加而增加。这有效地降低了计算的数值精度,因此对于大块,无法准确计算变换[16,p。 28。

        Convnets需要惊人的数字精度[5,6]。这意味着我们可以在过滤计算中牺牲一些数值精度,而不会影响到凝血酶的准确性。我们检查补充材料中F(6×6,3×3)的可能性。

你可能感兴趣的:(深度学习)