PyTorch实现:经典网络 AlexNet

PyTorch实现:经典网络 AlexNet

1. AlexNet 网络介绍

卷积神经网络从诞生之处就是为图像处理,直接原始图像的像素数据简单处理作为模型的输入的。而传统的神经网络和其它机器学习方法不会这样做,而是在图像数据进入模型之前,需要经过人手工精心设计特征提取方法,最后将提取的特征再作为模型的输入。
在卷积神经网络出现的早期,由于计算设备的原因,能用于训练的数据想对较少,而且有因为大型的卷积神经网络的大量参数,导致模型很难被有效训练。因此,在很长一段时间,神经网络都落后于其它的机器学习方法。
传统的机器学习方法,在收集到数据集之后,需要使用光学、几何学等领域的知识来指导手工对数据的预处理,然后通过标准的特征提取算法获取特征,最后将提取的特征送入选择的分类器中。随着技术的发展,另一种想法开始出现:特征的提取本身,也应该由模型通过学习来提取;特征可以有多个神经网络层来共同学习。由此,诞生的 AlexNet 最终使得卷积神经网络开始在图像领域超越其它机器学习方法。

2. AlexNet 网络架构

网络支持的输入的尺寸为:3×224×224。

2.1 特征提取网络

2.1.1 Conv2d(3, 96, kernel_size=11, stride=4, padding=1)

 使用一个11*11的卷积核窗口来捕捉对象,
 padding=1 边缘都向外扩充1,
 同时,步幅为4,以减少输出的高度和宽度,
 最后,在尺寸减小的同时,增加输出通道的数目。

Conv2d output shape: torch.Size([1, 96, 54, 54])

2.1.2 nn.ReLU()

使用 ReLU 激活函数,一方面,ReLU激活函数的计算更简单,它不需要如sigmoid激活函数那般复杂的求幂运算。 另一方面,当使用不同的参数初始化方法时,ReLU激活函数使训练模型更加容易。 当sigmoid激活函数的输出非常接近于0或1时,这些区域的梯度几乎为0,因此反向传播无法继续更新一些模型参数。 相反,ReLU激活函数在正区间的梯度总是1。 因此,如果模型参数没有正确初始化,sigmoid函数可能在正区间内得到几乎为0的梯度,从而使模型无法得到有效的训练。

ReLU output shape: torch.Size([1, 96, 54, 54])

2.1.3 nn.MaxPool2d(kernel_size=3, stride=2)

最大池化,使用 3*3 的窗口,步幅为2。

MaxPool2d output shape: torch.Size([1, 96, 26, 26])

2.1.4 nn.Conv2d(96, 256, kernel_size=5, padding=2)

 使用一个 5*5 的卷积核窗口来捕捉对象,
 padding=2 边缘都向外扩充2,保持输出尺寸不变,
 最后,在尺寸减小的同时,增加输出通道的数目。

torch.Size([1, 256, 26, 26])

2.1.5 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 256, 26, 26])

2.1.6 nn.MaxPool2d(kernel_size=3, stride=2)

最大池化,使用 3*3 的窗口,步幅为2。

MaxPool2d output shape: torch.Size([1, 256, 12, 12])

2.1.7 nn.Conv2d(256, 384, kernel_size=3, padding=1)

 使用一个 3*3 的卷积核窗口来捕捉对象,
 padding=2 边缘都向外扩充2,保持输出尺寸不变,
 最后,在尺寸减小的同时,增加输出通道的数目。

Conv2d output shape: torch.Size([1, 384, 12, 12])

2.1.8 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 384, 12, 12])

2.1.9 nn.Conv2d(384, 384, kernel_size=3, padding=1)

 使用一个 3*3 的卷积核窗口来捕捉对象,
 padding=2 边缘都向外扩充2,保持输出尺寸不变,
 最后,保持输出通道的数目不变。

Conv2d output shape: torch.Size([1, 384, 12, 12])

2.1.10 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 384, 12, 12])

2.1.11 nn.Conv2d384, 256, kernel_size=3, padding=1)

 使用一个 3*3 的卷积核窗口来捕捉对象,
 padding=2 边缘都向外扩充2,保持输出尺寸不变,
 最后,降低输出通道的数目。

Conv2d output shape: torch.Size([1, 256, 12, 12])

2.1.12 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 256, 12, 12])

2.1.13 nn.MaxPool2d(kernel_size=3, stride=2)

最大池化,使用 3*3 的窗口,步幅为2。

MaxPool2d output shape: torch.Size([1, 256, 5, 5])

2.1.14 nn.Flatten()

展开为一维特征。

Flatten output shape: torch.Size([1, 6400])

2.2 分类器

2.2.1 nn.Linear(6400, 4096),

线性层。

Linear output shape: torch.Size([1, 4096])

2.2.2 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 4096])

2.2.3 nn.Dropout(p=0.5)

连接层的输出数量很高,使用dropout层来减轻过拟合。

Dropout output shape: torch.Size([1, 4096])

2.2.4 nn.Linear(4096, 4096)

线性层。

Linear output shape: torch.Size([1, 4096])

2.2.5 nn.ReLU()

使用 ReLU 激活函数。

ReLU output shape: torch.Size([1, 4096])

2.2.6 nn.Dropout(p=0.5)

连接层的输出数量很高,使用dropout层来减轻过拟合。

Dropout output shape: torch.Size([1, 4096])

2.2.7 nn.Linear(4096, 10)

输出层。

Linear output shape: torch.Size([1, 10])

3. AlexNet 网络实现

class AlexNet(nn.Module):
    
    def __init__(self, num_classes):
        super(AlexNet, self).__init__()
        self.feature_extr = nn.Sequential(
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2), 

            nn.Conv2d(96, 256, kernel_size=5, padding=2),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2),

            nn.Conv2d(256, 384, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.Conv2d(384, 384, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2),

            nn.Flatten()
            
        )
        self.classifier = nn.Sequential(
            nn.Linear(6400, 4096), 
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(4096, num_classes)
        )

    def forward(self, x):
        x = self.feature_extr(x)
        x = self.classifier(x)
        return x

你可能感兴趣的:(PyTorch使用,经典深度模型,pytorch,神经网络,深度学习,人工智能,机器学习)