[pyotrch]nn.Conv2d中groups参数的理解

[pyotrch]nn.Conv2d中groups参数的理解

在pytorch的Docs中有关于nn.Conv2d的具体描述：

class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

其中其他参数都很好理解，groups 这个参数我一直没搞懂是怎么回事。
文档中对其的描述是：

我们通过实际的例子加以说明：

# pytorch 0.3.0
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed May  2 20:13:05 2018

@author: huijian
"""

# experiment about groups
import torch
import torch.nn as nn
from torch.autograd import Variable

x = torch.FloatTensor([0.1,1,10,100,1000,10000]).view(1,-1,1,1)
x = Variable(x)

conv = nn.Conv2d(in_channels=6,
                 out_channels=6,
                 kernel_size=1,
                 stride=1,
                 padding=0,
                 groups=3,
                 bias=False)

print(conv.weight.data.size())
# [1,2,3,4,5,6,7,8,9,10,11,12]
conv.weight.data = torch.arange(1,13).view(6,2,1,1)

print(conv.weight.data)

output=conv(x)
print(output)

运行出来的结果非常不便于观察，如下

# print(conv.weight.data.size())
torch.Size([6, 2, 1, 1])
#print(conv.weight.data)
tensor([[[[  1.]],
         [[  2.]]],
        [[[  3.]],
         [[  4.]]],
        [[[  5.]],
         [[  6.]]],
        [[[  7.]],
         [[  8.]]],
        [[[  9.]],
         [[ 10.]]],
        [[[ 11.]],
         [[ 12.]]]])

#print(output)
tensor([[[[ 2.1000e+00]],
         [[ 4.3000e+00]],
         [[ 6.5000e+02]],
         [[ 8.7000e+02]],
         [[ 1.0900e+05]],
         [[ 1.3100e+05]]]]

如果对数字比较敏感的话，大概可以看出来其实是通过groups 这个参数对输入的channel 划分成多组，像在此处，原始的输入有6个channel 被划分成了2个一组。
我们可以看到此处卷积层的参数是[6,2,1,1] ，如果将卷积层的权重用另一种方式展示会比较清楚：

#weight[0,:,:,:]
array([[[1.]],
       [[2.]]], dtype=float32)
#weight[1,:,:,:]
array([[[3.]],
       [[4.]]], dtype=float32)
# ....

我们可以把思路整理如下：
我们有6个channel的输入，我们需要6个channel的输出，如果考虑默认的卷积层，其大小应该是torch.Size([6, 6, 1, 1])也就是说每个输出的channel的计算，所有输入的channel都参与了。
此处我们通过值可以发现，这里每个输出channel的计算每次只有2个输入的channel参与了。
所以其结果分别是
2.1（1x0.1+2x1）（weight[0,:,:,:]) 4.3 (3x0.1+4x1) 650 (5x10+6x100) ...

如果我们对代码进行修改，将其中的groups由3改成2，但是由于计算问题，我们将output 修改为 output/100

# output/100
tensor([[[[    0.3210]], # 30 + 2 + 0.1
         [[    0.6540]], # 60 + 5 + 0.4
         [[    0.9870]], # 90 + 8 + 0.7
         [[ 1320.0000]], # 120000 +11000 + 1000
         [[ 1653.0000]], # 150000 +14000 + 1300
         [[ 1986.0000]]]]) # 180000 +17000 +1600

这里我们可以看到原有的[0.1,1,10,100,1000,10000] 就被划分成为了两组 [0.1,1,10] , [100,1000,10000]。每一组被重用3次。

这之前的情况都是in_channels = out_channels 因此我们测试当in_channels != out_channels
代码如下:

import torch
import torch.nn as nn
from torch.autograd import Variable

x = torch.FloatTensor([0.1,1,10,100,1000,10000]).view(1,-1,1,1)
x = Variable(x)

conv = nn.Conv2d(in_channels=6,
                 out_channels=18,
                 kernel_size=1,
                 stride=1,
                 padding=0,
                 groups=2,
                 bias=False)

print(conv.weight.data.size())
# [1,2,3,4,5,6,7,8,9,10,11,12]
conv.weight.data = torch.arange(1,55).view(18,3,1,1)

print(conv.weight.data)

output=conv(x)
print(output)

我们观察结果：

# output/100
tensor([[[[    0.3210]], # 30 +2 +0.1
         [[    0.6540]],
         [[    0.9870]],
         [[    1.3200]],
         [[    1.6530]],
         [[    1.9860]],
         [[    2.3190]],
         [[    2.6520]],
         [[    2.9850]],
         [[ 3318.0000]],
         [[ 3651.0000]],
         [[ 3984.0000]],
         [[ 4317.0000]],
         [[ 4650.0000]],
         [[ 4983.0000]],
         [[ 5316.0000]],
         [[ 5649.0000]],
         [[ 5982.0000]]]])

因此我们可以理解为：
groups 决定了将原输入分为几组，而每组channel重用几次，由out_channels/groups计算得到，这也说明了为什么需要 groups能供被 out_channels与in_channels整除。

References:
pytorch Docs

h.j