Tensorflow2.x框架-神经网络八股扩展-自制数据集
自制数据集，解决本领域应用
目录
摘要
一、Sequential() 实现自制数据集
二、Class() 实现自制数据集
摘要
mnist_image_label 文件夹：
mnist_train_jpg_60000（训练集图片）：
存放训练用的 60000 张图片，都是灰底白字的灰度图。
每张图有28行28列个像素点，每个像素点都是0到255之间的整数。
纯黑色用数值0表示，纯白色用数值255表示。
mnist_test_jpg_10000（训练集图片）：
存放测试用的 10000 张图片，都是灰底白字的灰度图。
每张图有28行28列个像素点，每个像素点都是0到255之间的整数。
纯黑色用数值0表示，纯白色用数值255表示。
mnist_train_jpg_60000.txt（训练集标签）：
存放60000张训练集图片的图片名和对应的标签，中间用空格隔开。
比如，28755_0.jpg 0 中 28755_0.jpg 就是训练集第一张图片的图片名，空格后的 0 是这张图所对应的标签。
mnist_test_jpg_10000.txt（训练集标签）：
存放10000张测试集图片的图片名和对应的标签，中间用空格隔开。
比如，2028_7.jpg 7中 2028_7.jpg 就是训练集第一张图片的图片名，空格后的 7 是这张图所对应的标签。
图片文件夹：
标签文件：
一、Sequential() 实现自制数据集
"""
自制数据集，解决本领域应用
"""
# 导入模块
import os
import numpy as np
import tensorflow as tf
from PIL import Image
# 根目录
base_path = os.path.dirname(os.path.abspath(__file__))
# ../MNIST_FC/mnist_image_label/
base_path = os.path.join(base_path, "MNIST_FC")
base_path = os.path.join(base_path, "mnist_image_label")
# 训练集文件
train_path = os.path.join(base_path, "mnist_train_jpg_60000")
# 训练集标签
train_txt = os.path.join(base_path, "mnist_train_jpg_60000.txt")
# 训练集数据存储文件
x_train_save_path = os.path.join(base_path, "mnist_x_train.npy")
# 训练集标签存储文件
y_train_save_path = os.path.join(base_path, "mnist_y_train.npy")
# 测试集文件
test_path = os.path.join(base_path, r"mnist_test_jpg_10000/")
# 测试集标签
text_txt = os.path.join(base_path, r"mnist_test_jpg_10000.txt")
# 测试集数据存储文件
x_test_save_path = os.path.join(base_path, "mnist_x_test.npy")
# 测试集标签存储文件
y_test_save_path = os.path.join(base_path, "mnist_y_test.npy")
def generate_data_sets(path, txt):
"""
加载数据集
:param path: 输入特征路径
:param txt: 标签路径文件名
:return:
"""
f = open(txt, 'r') # 以只读形式打开txt文件
contents = f.readlines() # 读取文件中所有行
f.close() # 关闭txt文件
x, y_ = [], [] # 建立空列表
for content in contents: # 逐行取出
value = content.split() # 以空格分开，图片路径为value[0] , 标签为value[1] , 存入列表
img_path = os.path.join(path, value[0]) # 拼出图片路径和文件名
img = Image.open(img_path) # 读入图片
img = np.array(img.convert('L')) # 图片变为8位宽灰度值的np.array格式
img = img / 255. # 数据归一化 （实现预处理）
x.append(img) # 归一化后的数据，贴到列表x
y_.append(value[1]) # 标签贴到列表y_
print('loading : ' + content) # 打印状态提示
x = np.array(x) # 变为np.array格式
y_ = np.array(y_) # 变为np.array格式
y_ = y_.astype(np.int64) # 变为64位整型
return x, y_ # 返回输入特征x，返回标签y_
if os.path.exists(x_train_save_path) and os.path.exists(y_train_save_path) and \
os.path.exists(y_test_save_path) and os.path.exists(y_test_save_path):
print("------------Load Data Sets------------")
x_train_save = np.load(x_train_save_path)
y_train = np.load(y_train_save_path)
x_test_save = np.load(x_test_save_path)
y_test = np.load(y_test_save_path)
x_train = np.reshape(x_train_save, (len(x_train_save), 28, 28))
x_test = np.reshape(x_test_save, (len(x_test_save), 28, 28))
# x_train = x_train_save.reshape(len(x_train_save), 28, 28)
# x_test = x_test_save.reshape(len(x_test_save), 28, 28)
else:
print("------------Generate Data Sets------------")
x_train, y_train = generate_data_sets(train_path, train_txt)
x_test, y_test = generate_data_sets(test_path, text_txt)
print("------------Save Data Sets------------")
x_train_save = np.reshape(x_train, (len(x_train), -1))
x_test_save = np.reshape(x_test, (len(x_test), -1))
# x_train_save = x_train.reshape(len(x_train), -1)
# y_test_save = x_test.reshape(len(x_test), -1)
np.save(x_train_save_path, x_train_save)
np.save(y_train_save_path, y_train)
np.save(x_test_save_path, x_test_save)
np.save(y_test_save_path, y_test)
# 搭建网络结构
model = tf.keras.models.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)), # 将输入特征拉直为一维数组，也就是拉直为28*28=784个数值
tf.keras.layers.Dense(128, activation="relu"), # 第一层网络128个神经元，使用relu激活函数
tf.keras.layers.Dense(10, activation="softmax") # 第二层网络10个神经元，使用softmax激活函数，使输出符合概率分布
])
# 配置训练方法
model.compile(optimizer="adam", # 优化器
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), # 损失函数，输出是概率分布，from_logits=False
metrics=["sparse_categorical_accuracy"]) # 数据集中的标签是数值，神经网络输出y是概率分布
# 执行训练过程
model.fit(x_train, # 训练集输入特征
y_train, # 训练集标签
batch_size=32, # 每次喂入网络32组数据
epochs=5, # 数据集迭代5次
validation_data=(x_test, y_test), # 测试集输入特征，测试集标签
validation_freq=1) # 每迭代1次训练集执行一次测试集的评测
# 打印出网络结构和参数统计
model.summary()
二、Class() 实现自制数据集
"""
自制数据集，解决本领域应用
"""
# 导入模块
import os
import numpy as np
import tensorflow as tf
from PIL import Image
from tensorflow.keras import Model
from tensorflow.keras.layers import Dense, Flatten
# 根目录
base_path = os.path.dirname(os.path.abspath(__file__))
# ../MNIST_FC/mnist_image_label/
base_path = os.path.join(base_path, "MNIST_FC")
base_path = os.path.join(base_path, "mnist_image_label")
# 训练集文件
train_path = os.path.join(base_path, "mnist_train_jpg_60000")
# 训练集标签
train_txt = os.path.join(base_path, "mnist_train_jpg_60000.txt")
# 训练集数据存储文件
x_train_save_path = os.path.join(base_path, "mnist_x_train.npy")
# 训练集标签存储文件
y_train_save_path = os.path.join(base_path, "mnist_y_train.npy")
# 测试集文件
test_path = os.path.join(base_path, r"mnist_test_jpg_10000/")
# 测试集标签
text_txt = os.path.join(base_path, r"mnist_test_jpg_10000.txt")
# 测试集数据存储文件
x_test_save_path = os.path.join(base_path, "mnist_x_test.npy")
# 测试集标签存储文件
y_test_save_path = os.path.join(base_path, "mnist_y_test.npy")
def generate_data_sets(path, txt):
"""
加载数据集
:param path: 输入特征路径
:param txt: 标签路径文件名
:return:
"""
f = open(txt, 'r') # 以只读形式打开txt文件
contents = f.readlines() # 读取文件中所有行
f.close() # 关闭txt文件
x, y_ = [], [] # 建立空列表
for content in contents: # 逐行取出
value = content.split() # 以空格分开，图片路径为value[0] , 标签为value[1] , 存入列表
img_path = os.path.join(path, value[0]) # 拼出图片路径和文件名
img = Image.open(img_path) # 读入图片
img = np.array(img.convert('L')) # 图片变为8位宽灰度值的np.array格式
img = img / 255. # 数据归一化 （实现预处理）
x.append(img) # 归一化后的数据，贴到列表x
y_.append(value[1]) # 标签贴到列表y_
print('loading : ' + content) # 打印状态提示
x = np.array(x) # 变为np.array格式
y_ = np.array(y_) # 变为np.array格式
y_ = y_.astype(np.int64) # 变为64位整型
return x, y_ # 返回输入特征x，返回标签y_
if os.path.exists(x_train_save_path) and os.path.exists(y_train_save_path) and \
os.path.exists(y_test_save_path) and os.path.exists(y_test_save_path):
print("------------Load Data Sets------------")
x_train_save = np.load(x_train_save_path)
y_train = np.load(y_train_save_path)
x_test_save = np.load(x_test_save_path)
y_test = np.load(y_test_save_path)
x_train = np.reshape(x_train_save, (len(x_train_save), 28, 28))
x_test = np.reshape(x_test_save, (len(x_test_save), 28, 28))
# x_train = x_train_save.reshape(len(x_train_save), 28, 28)
# x_test = x_test_save.reshape(len(x_test_save), 28, 28)
else:
print("------------Generate Data Sets------------")
x_train, y_train = generate_data_sets(train_path, train_txt)
x_test, y_test = generate_data_sets(test_path, text_txt)
print("------------Save Data Sets------------")
x_train_save = np.reshape(x_train, (len(x_train), -1))
x_test_save = np.reshape(x_test, (len(x_test), -1))
# x_train_save = x_train.reshape(len(x_train), -1)
# y_test_save = x_test.reshape(len(x_test), -1)
np.save(x_train_save_path, x_train_save)
np.save(y_train_save_path, y_train)
np.save(x_test_save_path, x_test_save)
np.save(y_test_save_path, y_test)
# 搭建网络结构
class MnistModel(Model):
def __init__(self):
super(MnistModel, self).__init__()
self.flatten = Flatten() # 将输入特征拉直为一维数组，也就是拉直为28*28=784个数值
self.d1 = Dense(128, activation="relu") # 第一层网络128个神经元，使用relu激活函数
self.d2 = Dense(10, activation="softmax") # 第二层网络10个神经元，使用softmax激活函数，使输出符合概率分布
def call(self, x):
x = self.flatten(x)
x = self.d1(x)
y = self.d2(x)
return y
model = MnistModel()
# 配置训练方法
model.compile(optimizer="adam", # 优化器
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), # 损失函数，输出是概率分布，from_logits=False
metrics=["sparse_categorical_accuracy"]) # 数据集中的标签是数值，神经网络输出y是概率分布
# 执行训练过程
model.fit(x_train, # 训练集输入特征
y_train, # 训练集标签
batch_size=32, # 每次喂入网络32组数据
epochs=5, # 数据集迭代5次
validation_data=(x_test, y_test), # 测试集输入特征，测试集标签
validation_freq=1) # 每迭代1次训练集执行一次测试集的评测
# 打印出网络结构和参数统计
model.summary()