PyTorch实现：经典网络 AlexNet
PyTorch实现：经典网络 AlexNet
1. AlexNet 网络介绍
卷积神经网络从诞生之处就是为图像处理，直接原始图像的像素数据简单处理作为模型的输入的。而传统的神经网络和其它机器学习方法不会这样做，而是在图像数据进入模型之前，需要经过人手工精心设计特征提取方法，最后将提取的特征再作为模型的输入。
在卷积神经网络出现的早期，由于计算设备的原因，能用于训练的数据想对较少，而且有因为大型的卷积神经网络的大量参数，导致模型很难被有效训练。因此，在很长一段时间，神经网络都落后于其它的机器学习方法。
传统的机器学习方法，在收集到数据集之后，需要使用光学、几何学等领域的知识来指导手工对数据的预处理，然后通过标准的特征提取算法获取特征，最后将提取的特征送入选择的分类器中。随着技术的发展，另一种想法开始出现：特征的提取本身，也应该由模型通过学习来提取；特征可以有多个神经网络层来共同学习。由此，诞生的 AlexNet 最终使得卷积神经网络开始在图像领域超越其它机器学习方法。
2. AlexNet 网络架构
网络支持的输入的尺寸为：3×224×224。
2.1 特征提取网络
2.1.1 Conv2d(3, 96, kernel_size=11, stride=4, padding=1)
使用一个11*11的卷积核窗口来捕捉对象，
padding=1 边缘都向外扩充1，
同时，步幅为4，以减少输出的高度和宽度，
最后，在尺寸减小的同时，增加输出通道的数目。
Conv2d output shape: torch.Size([1, 96, 54, 54])
2.1.2 nn.ReLU()
使用 ReLU 激活函数，一方面，ReLU激活函数的计算更简单，它不需要如sigmoid激活函数那般复杂的求幂运算。 另一方面，当使用不同的参数初始化方法时，ReLU激活函数使训练模型更加容易。 当sigmoid激活函数的输出非常接近于0或1时，这些区域的梯度几乎为0，因此反向传播无法继续更新一些模型参数。 相反，ReLU激活函数在正区间的梯度总是1。 因此，如果模型参数没有正确初始化，sigmoid函数可能在正区间内得到几乎为0的梯度，从而使模型无法得到有效的训练。
ReLU output shape: torch.Size([1, 96, 54, 54])
2.1.3 nn.MaxPool2d(kernel_size=3, stride=2)
最大池化，使用 3*3 的窗口，步幅为2。
MaxPool2d output shape: torch.Size([1, 96, 26, 26])
2.1.4 nn.Conv2d(96, 256, kernel_size=5, padding=2)
使用一个 5*5 的卷积核窗口来捕捉对象，
padding=2 边缘都向外扩充2，保持输出尺寸不变，
最后，在尺寸减小的同时，增加输出通道的数目。
torch.Size([1, 256, 26, 26])
2.1.5 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 256, 26, 26])
2.1.6 nn.MaxPool2d(kernel_size=3, stride=2)
最大池化，使用 3*3 的窗口，步幅为2。
MaxPool2d output shape: torch.Size([1, 256, 12, 12])
2.1.7 nn.Conv2d(256, 384, kernel_size=3, padding=1)
使用一个 3*3 的卷积核窗口来捕捉对象，
padding=2 边缘都向外扩充2，保持输出尺寸不变，
最后，在尺寸减小的同时，增加输出通道的数目。
Conv2d output shape: torch.Size([1, 384, 12, 12])
2.1.8 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 384, 12, 12])
2.1.9 nn.Conv2d(384, 384, kernel_size=3, padding=1)
使用一个 3*3 的卷积核窗口来捕捉对象，
padding=2 边缘都向外扩充2，保持输出尺寸不变，
最后，保持输出通道的数目不变。
Conv2d output shape: torch.Size([1, 384, 12, 12])
2.1.10 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 384, 12, 12])
2.1.11 nn.Conv2d384, 256, kernel_size=3, padding=1)
使用一个 3*3 的卷积核窗口来捕捉对象，
padding=2 边缘都向外扩充2，保持输出尺寸不变，
最后，降低输出通道的数目。
Conv2d output shape: torch.Size([1, 256, 12, 12])
2.1.12 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 256, 12, 12])
2.1.13 nn.MaxPool2d(kernel_size=3, stride=2)
最大池化，使用 3*3 的窗口，步幅为2。
MaxPool2d output shape: torch.Size([1, 256, 5, 5])
2.1.14 nn.Flatten()
展开为一维特征。
Flatten output shape: torch.Size([1, 6400])
2.2 分类器
2.2.1 nn.Linear(6400, 4096),
线性层。
Linear output shape: torch.Size([1, 4096])
2.2.2 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 4096])
2.2.3 nn.Dropout(p=0.5)
连接层的输出数量很高，使用dropout层来减轻过拟合。
Dropout output shape: torch.Size([1, 4096])
2.2.4 nn.Linear(4096, 4096)
线性层。
Linear output shape: torch.Size([1, 4096])
2.2.5 nn.ReLU()
使用 ReLU 激活函数。
ReLU output shape: torch.Size([1, 4096])
2.2.6 nn.Dropout(p=0.5)
连接层的输出数量很高，使用dropout层来减轻过拟合。
Dropout output shape: torch.Size([1, 4096])
2.2.7 nn.Linear(4096, 10)
输出层。
Linear output shape: torch.Size([1, 10])
3. AlexNet 网络实现
class AlexNet(nn.Module):
def __init__(self, num_classes):
super(AlexNet, self).__init__()
self.feature_extr = nn.Sequential(
nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1),
nn.ReLU(),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(96, 256, kernel_size=5, padding=2),
nn.ReLU(),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(256, 384, kernel_size=3, padding=1),
nn.ReLU(),
nn.Conv2d(384, 384, kernel_size=3, padding=1),
nn.ReLU(),
nn.Conv2d(384, 256, kernel_size=3, padding=1),
nn.ReLU(),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Flatten()
)
self.classifier = nn.Sequential(
nn.Linear(6400, 4096),
nn.ReLU(),
nn.Dropout(p=0.5),
nn.Linear(4096, 4096),
nn.ReLU(),
nn.Dropout(p=0.5),
nn.Linear(4096, num_classes)
)
def forward(self, x):
x = self.feature_extr(x)
x = self.classifier(x)
return x