深度学习编程笔记2:搭建网络八股之自制数据集

代码中难点

  1. readline()方法:从字面意思可以看出,该方法每次读出一行内容,所以,读取时占用内存小,比较适合大文件,该方法返回一个字符串对象。
    相对于把text文件中刑如2028_7.jpg 7的数据一行行读入存到contents中
  2. 其余的写在程序中

代码

import tensorflow as tf
from PIL import Image
import numpy as np
import os

train_path = './mnist_image_label/mnist_train_jpg_60000/'
train_txt = './mnist_image_label/mnist_train_jpg_60000.txt'
x_train_savepath = './mnist_image_label/mnist_x_train.npy'
y_train_savepath = './mnist_image_label/mnist_y_train.npy'

test_path = './mnist_image_label/mnist_test_jpg_10000/'
test_txt = './mnist_image_label/mnist_test_jpg_10000.txt'
x_test_savepath = './mnist_image_label/mnist_x_test.npy'
y_test_savepath = './mnist_image_label/mnist_y_test.npy'


def generateds(path, txt):
    f = open(txt, 'r')  # 以只读形式打开txt文件
    contents = f.readlines()  # 读取文件中所有行
    f.close()  # 关闭txt文件
    x, y_ = [], []  # 建立空列表
    for content in contents:  # 逐行取出
        # 因为数据是比如其中一个2028_7.jpg 7,中间会有一个空格,下面这句话就是把图片x和结果y通过识别中间的空格分开
        value = content.split()  # 以空格分开,图片路径为value[0] , 标签为value[1] , 存入列表,以空格为分隔符,包含 \n
        img_path = path + value[0]  # 拼出图片路径和文件名
        # 字符串的加法path + value[0]就是./mnist_image_label/mnist_test_jpg_10000/+2028_7.jpg,
        # img_path就是'./mnist_image_label/mnist_test_jpg_10000/2028_7.jpg'
        img = Image.open(img_path)  # 读入图片
        #  模式“L”
        #  为灰色图像,它的每个像素用8个bit表示,0表示黑,255表示白,其他数字表示不同的灰度。
        # 在PIL中,从模式“RGB”转换为“L”模式是按照下面的公式转换的:
        img = np.array(img.convert('L'))  # 图片变为8位宽灰度值的np.array格式
        img = img / 255.  # 数据归一化 (实现预处理)
        x.append(img)  # 归一化后的数据,贴到列表x

        y_.append(value[1])  # 标签贴到列表y_
        print('loading : ' + content)  # 打印状态提示

    x = np.array(x)  # 变为np.array格式
    y_ = np.array(y_)  # 变为np.array格式
    y_ = y_.astype(np.int64)  # 变为64位整型
    return x, y_  # 返回输入特征x,返回标签y_

你可能感兴趣的:(python,深度学习,tensorflow,机器学习,神经网络)