深度学习技术栈 —— 用Pytorch搭建神经网络识别数字(Kaggle实战)

一、项目信息

Kaggle比赛地址：Digit Recognizer - Kaggle

1.1 参考文章

1.1 参考文章或视频链接
[1] 纯手写：《纯Python搭建神经网络并进行数字识别 》
[2] Keras：《用Keras搭建神经网络 》
[3] Kaggle金牌Pytorch，本文的代码来源：Pytorch Tutorial for Deep Learning Lovers 如果访问较慢的话，我也上传了一份到CSDN中(0积分)：digit-recognizer-kaggle - CSDN资源

二、搭建过程

2.1 逻辑回归

这种方式非常的原始

2.2 Artificial Neural Network (ANN)

也就是全连接神经网络，只不过多加了几层。

2.3 Convolutional Neural Network (CNN)

卷积神经网络，在第2000轮迭代时，就达到了98%的准确率。

2.4 训练过程总结

详细代码过程我就不再赘述了，网上有很多关于逻辑回归，神经网络及CNN的代码与讲解。

# (1) creating the model class.
model = CNNModel() # Create CNN

# (2) creating loss func.
error = nn.CrossEntropyLoss() # Cross Entropy Loss 

# (3) creating a optimizer.
learning_rate = 0.1
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate) # SGD Optimizer

# 训练过程
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        
        # Variable是 PyTorch 中的一个类，用于表示张量（Tensor），即深度学习中的多维数据。
        train = Variable(images.view(100,1,28,28))
        labels = Variable(labels)
        
        # Clear gradients。清空梯度，固定套路模板。
        optimizer.zero_grad()
        
        # Forward propagation，根据你模型的不同，这里千变万化。
        outputs = model(train)
        
        # Calculate softmax and ross entropy loss。监督学习中计算误差，固定套路模板。
        loss = error(outputs, labels)
        
        # 当调用loss.backward()函数时，它会计算损失函数对每个参数的梯度，
        # 并将梯度存储在参数的grad属性中。然后，optimizer.step()函数会访问参数的grad属性，并根据学习率来更新参数的值
        # Calculating gradients。误差的反向传播，固定套路模板。
        loss.backward() # This loss value is used to output, but why need to be backward?
        
        # Update parameters。根据梯度值，更新权重参数，固定套路模板。
        optimizer.step()

总结下来总共有四步是雷打不动的。

# 训练过程
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
    		# data...
   
    	# 1.清空梯度
        optimizer.zero_grad()
		
			# your model operation
		
		# 2.计算误差
        loss = error(outputs, labels)
      
        # 3.反向传播
        loss.backward()
      
        # 4.更新权重矩阵
        optimizer.step()

---------------------------------------------------------------------------------------------------------------------------------------------------------------------