深度学习-第T2周——彩色图片分类

一、前言

• 本文为365天深度学习训练营 中的学习记录博客
• 原作者：K同学啊

 

二、我的环境

• 电脑系统：Windows 10
• 语言环境：Python 3.10.8
• 编译器：VScode
• 深度学习环境：Tensorflow

三、前期工作

1.设置GPU

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
 
if gpus:
  gpu0 = gpus[0]
  tf.config.experimental.set_memory_growth(gpu0, True)
  tf.config.set_visible_device([gpu0], "GPU")

2、导入数据集 

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt

(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()

CIFAR-10（加拿大计算机视觉和机器学习研究所的计算机图形学组织）是计算机视觉领域中广泛使用的基准数据集。它包含60,000张彩色图像，分为10个类别，每个类别有6,000张图像。数据集分为训练集（50,000张图像）和测试集（10,000张图像）。CIFAR-10中的每个图像的分辨率为32x32像素。

CIFAR-10数据集中的10个类别分别是：
1. 飞机（Airplane）
2. 汽车（Automobile）
3. 鸟（Bird）
4. 猫（Cat）
5. 鹿（Deer）
6. 狗（Dog）
7. 蛙（Frog）
8. 马（Horse）
9. 船（Ship）
10. 卡车（Truck）

 

3、归一化

数据归一化作用

• 使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确
• 加快学习算法的准确性

train_images, test_images = train_images / 255.0, test_images / 255.0

train_images.shape, test_images.shape, train_labels.shape, test_labels.shape

 4、可视化图片

class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
plt.figure(figsize = (20, 10))
for i in range(20):
    plt.subplot(5, 10, i + 1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(train_images[i], cmap = plt.cm.binary)
    plt.xlabel(class_names[train_labels[i][0]])

plt.show()

 

 

 四、构建简单的CNN网络

对于一般的CNN网络来说，都是由特征提取网络和分类网络构成，其中特征提取网络用于提取图片的特征，分类网络用于将图片进行分类。

卷积层：通过卷积操作对输入图像进行降维和特征抽取，有卷积，填充，步幅三个部分。
卷积：假设输入图片为n * n，通过k * k的卷积核，那么输出维度为（n-k+1）*（n-k+1）。

填充：对输入图片外边界像素进行填充，假设输入图片为n * n，通过k * k的卷积核， 且填充为p，那么输出维度为（n-k+2p+1）*（n-k+2p+1）

步幅： 假设输入图片为n * n，通过k * k的卷积核， 填充为p，且步幅为s，那么输出维度为（（n-k+2p）/ s +1）*（（n-k+2p）/ s +1）
池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
与卷积层一样，假设输入图片为n * n，通过k * k的卷积核， 填充为p，且步幅为s，那么输出维度为（（n-k+2p）/ s +1）*（（n-k+2p）/ s +1）

 CNN网络模型图

 

 

 

#构建简单的CNN网络
# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取,输出维度为
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation = 'relu', input_shape= (32, 32, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation = 'relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation = 'relu'),

    layers.Flatten(),
    layers.Dense(64, activation = 'relu'),
    layers.Dense(10)
])

model.summary()

 五、编译并训练模型

 1、设置超参数

#这里设置优化器，损失函数以及metrics
model.compile(
	#设置优化器为Adam优化器
    optimizer = 'adam',
    #设置损失函数为交叉熵损失函数
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = True),
    metrics = ['accuracy']
)

 2、编写训练函数

history = model.fit(
    train_images,
    train_lables,
    epochs = 10,
    validation_data = (test_images, test_lables)
)

 六、预测

plt.imshow(test_images[1])
pre = model.predict(test_images)
print(class_names[np.argmax(pre[1])])

 

 

 

 七、模型评估

#模型评估
import matplotlib.pyplot as plt
plt.plot(history.history['accuracy'],label='accuracy')
plt.plot(history.history['val_accuracy'],label='val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5,1])
plt.legend(loc="lower right")
plt.show()
test_loss,test_acc=model.evaluate(test_images,test_labels,verbose=2)

 八、总结

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
import numpy as np
 
(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()
train_images, test_images = train_images / 255.0, test_images / 255.0

class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']

model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation = 'relu', input_shape= (32, 32, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation = 'relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation = 'relu'),

    layers.Flatten(),
    layers.Dense(64, activation = 'relu'),
    layers.Dense(10)
])


#以上为简单的tf八股模板，可以看B站的北大老师曹健的tensorflow笔记

#这里设置优化器，损失函数以及metrics
model.compile(
	#设置优化器为Adam优化器
    optimizer = 'adam',
    #设置损失函数为交叉熵损失函数
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = True),
    metrics = ['accuracy']
)

history = model.fit(
    train_images,
    train_labels,
    epochs = 10,
    validation_data = (test_images, test_labels)
)

plt.imshow(test_images[1])
pre = model.predict(test_images)
print(class_names[np.argmax(pre[1])])

#模型评估
plt.plot(history.history['accuracy'],label='accuracy')
plt.plot(history.history['val_accuracy'],label='val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5,1])
plt.legend(loc="lower right")
plt.show()
test_loss,test_acc=model.evaluate(test_images,test_labels,verbose=2)

上述代码使用TensorFlow和Keras构建了一个简单的卷积神经网络模型（CNN），并在CIFAR-10数据集上进行训练和评估。

代码概要：
1. 导入所需的库：tensorflow、numpy和matplotlib.pyplot。
2. 使用`datasets.cifar10.load_data()`加载CIFAR-10数据集，并将数据集分为训练集和测试集。将图像像素值标准化到0到1的范围内。
3. 定义类别标签的名称列表。
4. 构建卷积神经网络模型，其中包含卷积层、池化层和全连接层。
5. 编译模型，指定优化器为Adam优化器，损失函数为交叉熵损失函数，并选择评估指标为准确度（accuracy）。
6. 使用`model.fit()`方法进行模型训练，传入训练数据、标签、训练轮数和验证集数据。
7. 绘制训练过程中准确度的曲线图。
8. 使用模型对测试集中的图像进行预测，并输出预测结果的类别名称。
9. 使用`model.evaluate()`方法评估模型在测试集上的损失值和准确度。

总结：
上述代码构建了一个简单的CNN模型，并在CIFAR-10数据集上进行了训练和评估。通过编译模型、训练模型和评估模型的步骤，可以了解模型的训练过程和性能。最终，通过绘制准确度曲线和输出预测结果的类别名称，可以对模型的表现进行可视化和验证。