浩浩的科研笔记

GoogLeNet网络一维复现pytorch

GoogLeNet复现

2014年诞生了两个大名鼎鼎的网络，一个是VGG另一个就是GoogLeNet，直到包括VGG网络之前，模型的一直都是再纵向上改变，而GoogLeNet在增加模型深度的同时做了宽度上的开拓，并将拥有不同尺寸卷积核的卷积层的输出结果，横向拼接到一起，同时关注不同尺寸的特征。

LeNet-AlexNet-ZFNet: LeNet-AlexNet-ZFNet一维复现pytorch
VGG: VGG一维复现pytorch
GoogLeNet: GoogLeNet一维复现pytorch
ResNet: ResNet残差网络一维复现pytorch-含残差块复现思路分析
DenseNet: DenseNet一维复现pytorch

GoogLeNet原文链接: Going deeper with convolutions

网络结构图如下，如图一共有9个Inception结构还有3个分类器，由于有三个分类器，最终会把每第一第二分类器的损失乘以0.3加到最终第三个分类器输出的损失上，复现GoogLeNet比麻烦的是这里需要写一个新的损失函数，而其他的复现当中，都是直接用最后一层的损失训练，没有完全复现。

Inception结构

其中Inception结构论文里也给了两种方式

a是原始版本，b是减少参数量的版本，a几乎可以说是只有理论上存在，实际使用的都是b版本。接下来开始讨论b版本的inception结构。

Inception有5个部分需要7个参数
1.输入通道数
2.最左侧的卷积核大小为1的卷积的输出通道数
3.从左数第二个分支的两个卷积层中间的过渡通道数和输出通道数
4.从右数第二个分支的两个卷积层中间的过渡通道数和输出通道数
5.最右侧池化层及其链接的一维卷积层的输出通道数

class Inception(torch.nn.Module):
    def __init__(self,in_channels=56,ch1=64,ch3_reduce=96,ch3=128,ch5_reduce=16,ch5=32,pool_proj=32):
        super(Inception, self).__init__()

        self.branch1 = torch.nn.Sequential(
            torch.nn.Conv1d(in_channels,ch1,kernel_size=1),
            torch.nn.BatchNorm1d(ch1)
        )

        self.branch3 = torch.nn.Sequential(
            torch.nn.Conv1d(in_channels, ch3_reduce, kernel_size=1),
            torch.nn.BatchNorm1d(ch3_reduce),
            torch.nn.Conv1d(ch3_reduce, ch3, kernel_size=3, padding=1),
            torch.nn.BatchNorm1d(ch3),
        )

        self.branch5 = torch.nn.Sequential(
            torch.nn.Conv1d(in_channels, ch5_reduce, kernel_size=1),
            torch.nn.BatchNorm1d(ch5_reduce),
            torch.nn.Conv1d(ch5_reduce, ch5, kernel_size=5, padding=2),
            torch.nn.BatchNorm1d(ch5),
        )

        self.branch_pool = torch.nn.Sequential(
            torch.nn.MaxPool1d(kernel_size=3,stride=1,padding=1),
            torch.nn.Conv1d(in_channels, pool_proj, kernel_size=1)
        )

    def forward(self,x):
        return torch.cat([self.branch1(x),self.branch3(x),self.branch5(x),self.branch_pool(x)],1)

最后将每一个分支输出的在第二个维度拼接到一起，也就是维度1。批次是维度0，样本点是维度2。