Tensorflow: 文件读写

写文件

这里的写, 指的是把各种格式的数据(如字符, 图片等)统一转换成Tensorflow的标准支持格式TFRecord.

TFRecord是输入数据统一管理的格式, 它其实是一种二进制文件.

写入:
通过将数据填入到tf.train.Example类, Example的protocol buffer包含了字段的tf.train.Features, 使用数据修改Features, 实现将protocol buffer序列化成一个字符串, 再通过tf.python_io.TFRecordWriter类将序列化的字符串写入到TFRecord中.

读出:
使用tf.TFRecordReader读取器, 通过tf.parse_single_example解析器解析, parse_single_example操作可以将Example protocol buffer解析为张量, 然后用解码器 tf.decode_raw解码.

相关类/函数

• tf.python_io.TFRecordWriter

  把记录写入到TFRecords文件的类.

  • init()

  ''' 作用: 创建一个TFRecordWriter对象, 将数据记录到指定的TFRecord文件中. 参数: path: (must)TFRecords文件的路径; options: TFRecordOptions对象; '''

  • write()

  ''' 作用: 将一条序列化字符串记录写入到文件中. 参数: record: string, 序列化字符串记录. '''

  • close()

  ''' 作用: 关闭TFRecordWriter. '''

• tf.train.Example

  Example是使用某种规则规则化后的数据, 通过使用TFRecordWriter写入到TFRecord中.

  Example包含一个键值对数据结构(与dict相同), 使用属性features记录, 因此, 初始化时必须传入这个features参数, 它是一个tf.train.Features对象.

  • init()

  ''' 作用: 初始化一个Example. 参数: features: tf.train.Features对象, 其中每条记录的key表示数据的描述, value为固定数据类型的特殊处理的数据. '''

  • SerializeToString()

  ''' 作用: 把这个Example序列化成字符串, 将这个字符串通过TFRecordWriter写入到TFRecord中. '''

• tf.train.Features

  协议化的描述数据信息, 结构为键值对, key为字符串, 用来描述数据, value为tf.train.Feature对象, 一个Feature包含一种数据类型的list, list中有若干数据.

  list有三种: BytesList, FloatList, Int64List

  • init()

  ''' 作用: 初始化一个Features 参数: feature: dict字典, key为数据名称, value为tf.train.Feature对象, 特殊的数据list. '''
  tf.train.Features(feature={"image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw])),
                             "label":tf.train.Feature(int64_list=tf.train.Int64List(value=[train_labels_values[i]]))})

• tf.train.Feature

  一个Feature包含一种数据类型的list, list中有若干数据.

  list类型主要有BytesList, FloatList, Int64List三种类型

  • init()

  ''' 作用: 初始化一个Feature, 内含数据队列. 参数: bytes_list: 队列数据为byte(一般是字符串)时使用, 将tf.train.BytesList赋给此参数; float_list: 队列数据为float时使用, 将tf.train.FloatList赋给此参数; int64_list: 队列数据为int64时使用, 将tf.train.Int64List赋给此参数. '''
  tf.train.Feature(int64_list = tf.train.Int64List(value = [value]))
  tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))
  tf.train.Feature(float_list = tf.train.FloatList(value = [value]))

• tf.train.BytesList, tf.train.FloatList, tf.train.Int64List

  字符, 浮点, 整形三种数据队列

  ''' 作用: 初始化一个类型的队列, 传入数据 参数: value: 将相应类型的数据放在list中, 赋值给此参数 '''

生成TFRecord例子

读取csv文件, 并转为TFRecord

这里使用Kaggle中Getting Started级别的Digit Recognizer题目, 数据是MNIST手写数字的csv格式, 这里使用train.csv作为例子, 实现将csv文件转换为TFRecord的操作.

import numpy as np
import pandas as pd
import tensorflow as tf

train_frame=pd.read_csv(filepath_or_buffer="train.csv")
train_labels_frame=train_frame.pop(item="label")

train_values=train_frame.values
train_labels_values=train_labels_frame.values
train_size=train_values.shape[0]


writer=tf.python_io.TFRecordWriter(path="train.tfrecords")
for i in range(train_size):
    image_raw=train_values[i].tostring()

    example=tf.train.Example(
        features=tf.train.Features(
            feature={
                "image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw])),
                "label":tf.train.Feature(int64_list=tf.train.Int64List(value=[train_labels_values[i]]))
            }
        )
    )
    writer.write(record=example.SerializeToString())

writer.close()

读取图片, 转换为TFRecord格式

from PIL import Image  # 这里使用PIL包读取图片

def _int64_feature(value):
    return tf.train.Feature(int64_list = tf.train.Int64List(value = [value]))
def _bytes_feature(value):
    return tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))


def convert_to(data_path, name):

    rows = 64
    cols = 64
    depth = DEPTH
    for ii in range(12):
        writer = tf.python_io.TFRecordWriter(name + str(ii) + '.tfrecords')
        for img_name in os.listdir(data_path)[ii*16384 : (ii+1)*16384]:
            img_path = data_path + img_name
            img = Image.open(img_path)
            h, w = img.size[:2]
            j, k = (h - OUTPUT_SIZE) / 2, (w - OUTPUT_SIZE) / 2
            box = (j, k, j + OUTPUT_SIZE, k+ OUTPUT_SIZE)

            img = img.crop(box = box)
            img = img.resize((rows,cols))
            img_raw = img.tobytes()
            example = tf.train.Example(features = tf.train.Features(feature = {
                                    'height': _int64_feature(rows),
                                    'weight': _int64_feature(cols),
                                    'depth': _int64_feature(depth),
                                    'image_raw': _bytes_feature(img_raw)}))
            writer.write(example.SerializeToString())
        writer.close()

读文件

Tensorflow中, 有三种主要的读取数据文件的读写器类, 有共用的操作文件的Ops.

tf.TextLineReader 用于读取csv文件, 配合tf.decode_csv()方法使用;
tf.FixedLengthRecordReader 用于读取二进制编码文件, 配合tf.decode_raw()解码器方法使用;
tf.TFRecordReader 用于读取TFRecord文件, 配合tf.parse_single_example()解析器和tf.decode_raw()解码器方法使用.

三个类均继承于父类tf.ReaderBase, 常用的方法有:

read()

FixedLengthRecordReader

• init()

''' 作用: 生成一个每次读取固定长度数据的读取器. 参数: record_bytes: (must)整数, 固定的读取长度; header_bytes: 整数, 头数据长度, 默认为0; footer_bytes: 整数, 尾数据长度, 默认为0; name: Op的名字; '''

使用例子见Tensorflow: 队列操作章节中最后的读取数据的例子.

TextLineReader

• init()

''' 作用: 生成一个每次读取一行内容的读取器 参数: skip_header_lines: 整数, 需要跳过的头行数, 默认为0; name: Op的名称. '''

使用例子:

filename_queue = tf.train.string_input_producer(["file0.csv", "file1.csv"])

reader = tf.TextLineReader()
key, value = reader.read(filename_queue)

# Default values, in case of empty columns. Also specifies the type of the
# decoded result.
record_defaults = [[1], [1], [1], [1], [1]]
col1, col2, col3, col4, col5 = tf.decode_csv(
    value, record_defaults=record_defaults)
features = tf.concat(0, [col1, col2, col3, col4])

with tf.Session() as sess:
  # Start populating the filename queue.
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for i in range(1200):
    # Retrieve a single instance:
    example, label = sess.run([features, col5])

  coord.request_stop()
  coord.join(threads)

每次read的执行都会从文件中读取一行内容, decode_csv() 操作会解析这一行内容并将其转为张量列表. 如果输入的参数有缺失, record_default参数可以根据张量的类型来设置默认值.

TFRecordReader

• init()

''' 作用: 生成一个每次从TFRecord中读取一个Features数据的读取器 参数: name: Op的名称; options: TFRecordOptions; '''

使用例子

def read_and_decode(filename):
    #根据文件名生成一个队列
    filename_queue = tf.train.string_input_producer([filename])

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)   #返回文件名和文件
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [224, 224, 3])
    img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
    label = tf.cast(features['label'], tf.int32)

    return img, label

辅助读取文件数据的函数

• tf.decode_csv()

''' 作用: 将读取的csv记录(字符串)解析并转换成Tensor, csv文件中的每一列将会对应一个Tensor. 参数: records: (must)string类型的Tensor, 里面每个string代表csv中的一行, 代表一条记录; record_defaults: (must)list of Tensor, 每个Tensor对应一列, 当列中的数据为空时, 使用对应的Tensor填补输出结果; field_delim: string, 指明一条记录(一行)之间各列的分界符, 默认为','; name: op的名称. 输出: list of tensor, list长度与record_defaults相同, 各个tensor的shape相同. '''

• tf.decode_raw()

''' 作用: 将bytes of string转换为指定类型的数据. 参数: bytes: (must)string类型的Tensor, 所有的元素长度相同; out_type: (must)指明输出数据的类型, tf.DType; little_endian: (不明)bool, 默认为True, 无视out_type参数, 将数据转为单字节格式, 类似uint8; name: op的名称. 输出: out_type类型的Tensor, 维度比bytes入参Tensor多一维; 多出的一维的值等于将bytes中单个string元素, 用out_type分割后产生的数据的长度. '''

• tf.parse_single_example()

''' 作用: 将一个Example proto 转为features指定格式的key: Tensor数据. 参数: serialized: (must)只含一条string元素的Tensor, 代表一条序列化的Example数据; features: (must)dict, 类似于存储时的features, key为字符串描述, 但value为tf.FixedLenFeature对象. name: op的名称; example_names: 只含一条string元素的Tensor, 表示Example的名称. 输出: dict, key为features参数中的key, value为转换出来的Tensor, 类型为string. '''

• tf.FixedLenFeature

''' 作用: 固定长度Feature(tf.train.Feature)解析配置类, 用来描述Feature的属性, 以供tf.parse_single_example()方法解析. 参数: (继承于collections.namedtuple("FixedLenFeature",["shape", "dtype", "default_value"])类.) 第一: 数据的shape, 指定为[], 表示不指明; 第二: 数据的类型dtype, tf.DType; 第三: 数据缺失时默认的填补数据default_value, 必须与shape和dtype适应. '''
tf.FixedLenFeature([], tf.int64)
tf.FixedLenFeature([], tf.string)