Conv2d卷积层到Linear全连接层之间的变换——解决方法2（核心）

 一、本文问题阐述

      记录 Conv2 卷积层 到全链接层之间参数设置报错问题的解决办法：

     开始阶段全链接层1参数设置为：      self.fc1 = nn.Linear(16*5*5, 120) 

     运行时报错：RuntimeError: shape '[-1, 1024]' is invalid for input of size 512

    

class LeNet(nn.Module):
    # 一般在__init__中定义网络需要的操作算子，比如卷积、全连接算子等等
    def __init__(self):
        super(LeNet, self).__init__()
        # Conv2d的第一个参数是输入的channel数量，第二个是输出的channel数量，第三个是kernel size
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        # 由于上一层有16个channel输出，每个feature map大小为5*5，所以全连接层的输入是16*5*5
        self.fc1 = nn.Linear(16*4*4, 120)
        self.fc2 = nn.Linear(120, 84)
        # 最终有10类，所以最后一个全连接层输出数量是10
        self.fc3 = nn.Linear(84, 3)
        self.pool = nn.MaxPool2d(2, 2)

        # forward这个函数定义了前向传播的运算，只需要像写普通的python算数运算那样就可以了
    def forward(self, x):
            x = F.relu(self.conv1(x))
            x = self.pool(x)
            x = F.relu(self.conv2(x))
            x = self.pool(x)
            # 下面这步把二维特征图变为一维，这样全连接层才能处理
            x = x.view(-1, 16 * 4 * 4)
            x = F.relu(self.fc1(x))
            x = F.relu(self.fc2(x))
            x = self.fc3(x)
            return x

二、解决办法1

  针对提示错误： RuntimeError: shape '[-1, 1024]' is invalid for input of size 512
  Batch size  -4
  4=squartRoot(1024/4/16)   
  I had to set  x= x.view(4,16*4*4)

三、解决办法2

pytorch神经网络之卷积层与全连接层参数的设置方法

当使用pytorch写网络结构的时候，本人发现在卷积层与第一个全连接层的全连接层的input_features不知道该写多少？一开始本人的做法是对着pytorch官网的公式推，但是总是算错。

后来发现，写完卷积层后可以根据模拟神经网络的前向传播得出这个。

全连接层的input_features是多少。首先来看一下这个简单的网络。这个卷积的Sequential本人就不再啰嗦了，现在看nn.Linear(？？？, 4096)这个全连接层的第一个参数该为多少呢？

class AlexNet(nn.Module):
  def __init__(self):
    super(AlexNet, self).__init__()
 
    self.conv = nn.Sequential(
      nn.Conv2d(3, 96, kernel_size=11, stride=4),
      nn.ReLU(inplace=True),
      nn.MaxPool2d(kernel_size=3, stride=2),
 
      nn.Conv2d(96, 256, kernel_size=5, padding=2),
      nn.ReLU(inplace=True),
      nn.MaxPool2d(kernel_size=3, stride=2),
 
      nn.Conv2d(256, 384, kernel_size=3, padding=1),
      nn.ReLU(inplace=True),
      nn.Conv2d(384, 384, kernel_size=3, padding=1),
      nn.ReLU(inplace=True),
      nn.Conv2d(384, 256, kernel_size=3, padding=1),
      nn.ReLU(inplace=True),
      nn.MaxPool2d(kernel_size=3, stride=2)
    )
 
    self.fc = nn.Sequential(
      nn.Linear(？？？, 4096)
      ......
      ......
    )

首先，我们先把forward写一下：

def forward(self, x):
  x = self.conv(x)
  print x.size()

就写到这里就可以了。其次，我们初始化一下网络，随机一个输入：

import torch
from Alexnet.AlexNet import *
from torch.autograd import Variable
 
if __name__ == '__main__':
  net = AlexNet()
 
  data_input = Variable(torch.randn([1, 3, 96, 96])) # 这里假设输入图片是96x96
  print data_input.size()
  net(data_input)

结果如下：

(1L, 3L, 96L, 96L)

(1L, 256L, 1L, 1L)

显而易见，咱们这个全连接层的input_features为256。

 

参考链接：

【1】https://discuss.pytorch.org/t/runtimeerror-shape-1-400-is-invalid-for-input-of-size/33354/2

【2】pytorch神经网络之卷积层与全连接层参数的设置方法