tensorflow学习第一周（1）实现mnist手写数字识别
本人目前在跟随csdn博主 “K同学啊”进行365天深度学习训练营进行学习，这是打卡内容 也作为本人学习的记录。
目录
一、网络结构说明
二、程序说明
三、MNIST手写数字数据集介绍
四、代码部分
1.我的环境：
2.代码部分
3.总结
参考：(8条消息) 归一化与标准化_K同学啊的博客-CSDN博客
一、网络结构说明
首先是CNN模型：LeNet-5 网络结构的说明，模型结构如下：
共分为六层：
输入层，卷积层，池化层，Flatten层，全连接层，输出层
-
输入层：用于将数据输入到训练网络
-
卷积层：使用卷积核提取图片特征
-
池化层：进行下采样，用更高层的抽象表示图像特征
-
Flatten层：将多维的输入一维化，常用在卷积层到全连接层的过渡
-
全连接层：起到“特征提取器”的作用
-
输出层：输出结果
二、程序说明
程序的流程如下所述：
第一步：选择模型
第二步：构建网络层。主要构建输入层，隐藏层，输出层。每层都包括各种网络层，这三层中也包含很多函数，比如激活函数，初始化方法，正则项，约束项等。
网络层包括：
核心层，嵌入层，卷积层，池化层，局部连接层，循环层，融合层，高级激活层，噪声层，标准化层等
第三步：编译包含优化函数，损失函数，性能评估等
第四步：训练+预测
通过数据预处理等方式为训练的回调函数和预测阶段提供格式化数据，进行相应过程。
如：结构化数据预处理
文本数据预处理
图片数据预处理
时间序列数据预处理等都是数据预处理的模式。
三、MNIST手写数字数据集介绍
MNIST手写数据集是来源于美国国家标准与技术研究所，是著名的公开数据集。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges。
一般采用(train_images, train_labels), (test_images, test_labe
ls) = datasets.mnist.load_data()这行代码直接调用。
数据集样本如下：
一张图片的像素大小为28*28=724，我们共有60000张图片，所以可以把训练集看作[60000,724]的向量，每个图片的像素的值在0-1之间
四、代码部分
1.我的环境：
-
语言环境：Anaconda3+Python3.6.5 虚拟环境
-
-
编译器：jupyter notebook
-
-
深度学习环境：TensorFlow2
-
2.代码部分
2.1 导入数据
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()2.2 归一化
这里不仅介绍归一化，而且介绍标准化的内容。
归一化：
一般来说用的是min-max归一化，缩放到0-1之间，即：
对于图片来说，由于max是255，min是0，也就是直接除以255就可以完成归一化。
归一化的原因：让训练模型更平稳，统一学习率
不归一化处理时 ，如果特征值较大时，梯度值也会较大，特征值较小时，梯度值也会较小。在模型反向传播时，梯度值更新与学习率一样，当学习率较小时，梯度值较小会导致更新缓慢，当学习率较大时，梯度值较大会导致模型不易收敛，因此为了 使模型训练收敛平稳，对图像进行归一化操作，把不同维度的特征值调整到相近的范围内，就可以采用统一的学习率加速模型训练
标准化：
将数据按比例缩放，使之落入一个小的特定区间；缩放与每个点都有关
将数据变换成均值为0，标准差为1的分布(但不一定为正态)：
目的：提升模型的泛化能力
# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""2.3 可视化图片
# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
# 将整个figure分成5行10列，绘制第i+1个子图。
plt.subplot(2,10,i+1)
# 设置不显示x轴刻度
plt.xticks([])
# 设置不显示y轴刻度
plt.yticks([])
# 设置不显示子图网格线
plt.grid(False)
# 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
plt.imshow(train_images[i], cmap=plt.cm.binary)
# 设置x轴标签显示为图片对应的数字
plt.xlabel(train_labels[i])
# 显示图片
plt.show()2.4 调整图片格式
#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))
"""2.5 构建CNN网络模型
# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
# 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
# ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
# 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
#池化层1，2*2采样
layers.MaxPooling2D((2, 2)),
# 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
layers.Conv2D(64, (3, 3), activation='relu'),
#池化层2，2*2采样
layers.MaxPooling2D((2, 2)),
layers.Flatten(), #Flatten层，连接卷积层与全连接层
layers.Dense(64, activation='relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
layers.Dense(10) #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()2.6 编译
"""
这里设置优化器、损失函数以及metrics
这三者具体介绍可参考我的博客：
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
# 设置优化器为Adam优化器
optimizer='adam',
# 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
# from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
# 设置性能指标列表，将在模型训练时监控列表中的指标
metrics=['accuracy'])2.7 训练
"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考我的博客：
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
history = model.fit(
# 输入训练集图片
train_images,
# 输入训练集标签
train_labels,
# 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
epochs=10,
# 设置验证集
validation_data=(test_images, test_labels))输出结果：
2.8 预测
输入一张图片，将会得到一组数，这组代表这张图片上的数字为0~9中每一个数字的几率（并非概率），out数字越大可能性越大。所以这里第三个数字代表数字2。
plt.imshow(test_images[1].reshape(28,28))
pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果输出结果：
2.9 总体代码
mport tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
tf.config.set_visible_devices([gpu0],"GPU")
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""
# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
# 将整个figure分成5行10列，绘制第i+1个子图。
plt.subplot(2,10,i+1)
# 设置不显示x轴刻度
plt.xticks([])
# 设置不显示y轴刻度
plt.yticks([])
# 设置不显示子图网格线
plt.grid(False)
# 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
plt.imshow(train_images[i], cmap=plt.cm.binary)
# 设置x轴标签显示为图片对应的数字
plt.xlabel(train_labels[i])
# 显示图片
plt.show()
#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))
"""
# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
# 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
# ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
# 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
# 池化层1，2*2采样
layers.MaxPooling2D((2, 2)),
# 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
layers.Conv2D(64, (3, 3), activation='relu'),
# 池化层2，2*2采样
layers.MaxPooling2D((2, 2)),
layers.Flatten(), # Flatten层，连接卷积层与全连接层
layers.Dense(64, activation='relu'), # 全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
layers.Dense(10) # 输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()
"""
这里设置优化器、损失函数以及metrics
这三者具体介绍可参考我的博客：xz
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
# 设置优化器为Adam优化器
optimizer='adam',
# 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
# from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
# 设置性能指标列表，将在模型训练时监控列表中的指标
metrics=['accuracy'])
"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考我的博客：
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
history = model.fit(
# 输入训练集图片
train_images,
# 输入训练集标签
train_labels,
# 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
epochs=10,
# 设置验证集
validation_data=(test_images, test_labels))
plt.imshow(test_images[1].reshape(28,28))
pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果3.总结
个人目前对于深度学习的思考还不够透彻 目前在看deeplearning一书 还望各位不吝赐教 如有写的不妥之处，多多交流!