6.1.1 TensorFlow 构建队列 tf.FIFOQueue, tf.PriorityQueue, tf.RandomShuffleQueue

《TensorFlow 与卷积神经网络 (从算法到入门)》学习笔记

Brief:

  • 模型训练的第一步就是数据的读取,在卷积神经网络中,读取的数据主要是图片及其对应的标签。

  • TensorFlow 在各个设备(CPU,GPU等)之间传递数据时,使用队列。但是在CPU和GPU之间传递数据是非常缓慢的,为了避免数据传递带来的耗时问题,采用了异步传递的解决方案,CPU不断往队列传入数据,GPU不断从队列中读取数据。

  • 常见的队列有:

    1. tf.FIFOQueue 先来先服务队列
    2. tf.PriorityQueue 优先级队列
    3. tf.RandomShuffleQueue 随机乱序队列
  • 队列包括三个操作:

    1. 定义队列queue (tf.FIFOQueue / tf.PriorityQueue / tf.RandomShuffleQueue)
    2. 数据传入队列(入队函数:enqueue)
    3. 从队列中读取数据(出队函数:dequeue)

1. tf.FIFOQueue 先来先服务队列

函数原型:

tf.FIFOQueue(capacity,
             dtypes,
             shapes=None,
             name=None,
             shared_name=None,
             name='fifo_queue')

参数:

  • capacity:队列的容量,最大能存储元素的个数
  • dtypes:指定队列元素中每个Tensor的数据类型
  • shapes=None:指定队列元素中每个Tensor的Shape
  • name=None:指定队列元素中每个Tensor的名称
  • shared_name=None:如果指定了shared_name, 那么通过shared_name 可以在各个Session 之间共享队列
  • name=‘fifo_queue’:当前operation 的名称

6.1.1 TensorFlow 构建队列 tf.FIFOQueue, tf.PriorityQueue, tf.RandomShuffleQueue_第1张图片

举例:

import tensorflow as tf
import numpy as np

def init_data():
    data_list = []
    for i in range(10):
        float_data = [i, i, i]
        str_data = ['str_'+str(i), 'str'+str(i)]
        data_list.append((float_data, str_data))
    return data_list


if __name__=='__main__':
    data_list = init_data()

    queue = tf.FIFOQueue(capacity=10,
                         dtypes=[tf.float32, tf.string],
                         shapes=[(3,), (2,)])

    fp_data_tf = tf.placeholder(shape=(3,), dtype=tf.float32)
    str_data_tf = tf.placeholder(shape=(2,), dtype=tf.string)

    enqueue_op = queue.enqueue((fp_data_tf, str_data_tf))
    dequeue_data = queue.dequeue()

    with tf.Session() as sess:
        for fp_data, str_data in data_list:
            sess.run(enqueue_op, feed_dict={
     fp_data_tf:fp_data, str_data_tf:str_data})

        for i in range(10):
            print(sess.run(dequeue_data))


# 输出为:
# [array([0., 0., 0.], dtype=float32), array([b'str_0', b'str0'], dtype=object)]
# [array([1., 1., 1.], dtype=float32), array([b'str_1', b'str1'], dtype=object)]
# [array([2., 2., 2.], dtype=float32), array([b'str_2', b'str2'], dtype=object)]
# [array([3., 3., 3.], dtype=float32), array([b'str_3', b'str3'], dtype=object)]
# [array([4., 4., 4.], dtype=float32), array([b'str_4', b'str4'], dtype=object)]
# [array([5., 5., 5.], dtype=float32), array([b'str_5', b'str5'], dtype=object)]
# [array([6., 6., 6.], dtype=float32), array([b'str_6', b'str6'], dtype=object)]
# [array([7., 7., 7.], dtype=float32), array([b'str_7', b'str7'], dtype=object)]
# [array([8., 8., 8.], dtype=float32), array([b'str_8', b'str8'], dtype=object)]
# [array([9., 9., 9.], dtype=float32), array([b'str_9', b'str9'], dtype=object)]

2. tf.PriorityQueue 优先级队列

函数原型:

tf.PriorityQueue(capacity,
             	 types,
            	 shapes=None,
             	 name=None,
            	 shared_name=None,
          	     name='fifo_queue')

注意,这里和 tf.FIFOQueue函数参数唯一不一样的是, 这里的数据类型关键字是“types”, 不是“dtypes”,不知道为啥这样‍♂️,其他参数含义都一样。只是传入数据要加个priority。
6.1.1 TensorFlow 构建队列 tf.FIFOQueue, tf.PriorityQueue, tf.RandomShuffleQueue_第2张图片

举例:

import tensorflow as tf
import numpy as np

def init_data():
    data_list = []
    for i in range(10):
        priority = 10 - i
        float_data = [i, i, i]
        str_data = ['str_'+str(i), 'str'+str(i)]
        data_list.append((priority, float_data, str_data))
    return data_list


if __name__=='__main__':
    data_list = init_data()

    queue = tf.PriorityQueue(capacity=10, 
                             types=[tf.float32, tf.string], 
                             shapes=[(3,), (2,)])

    priority_tf = tf.placeholder(shape=(), dtype=tf.int64)
    fp_data_tf = tf.placeholder(shape=(3,), dtype=tf.float32)
    str_data_tf = tf.placeholder(shape=(2,), dtype=tf.string)

    enqueue_op = queue.enqueue((priority_tf, fp_data_tf, str_data_tf))
    dequeue_data = queue.dequeue()

    with tf.Session() as sess:
        for priority, fp_data, str_data in data_list:
            sess.run(enqueue_op, feed_dict={
     priority_tf: priority,
                                            fp_data_tf: fp_data,
                                            str_data_tf: str_data})

        for i in range(10):
            print(sess.run(dequeue_data))


# 输出为:
# [1, array([9., 9., 9.], dtype=float32), array([b'str_9', b'str9'], dtype=object)]
# [2, array([8., 8., 8.], dtype=float32), array([b'str_8', b'str8'], dtype=object)]
# [3, array([7., 7., 7.], dtype=float32), array([b'str_7', b'str7'], dtype=object)]
# [4, array([6., 6., 6.], dtype=float32), array([b'str_6', b'str6'], dtype=object)]
# [5, array([5., 5., 5.], dtype=float32), array([b'str_5', b'str5'], dtype=object)]
# [6, array([4., 4., 4.], dtype=float32), array([b'str_4', b'str4'], dtype=object)]
# [7, array([3., 3., 3.], dtype=float32), array([b'str_3', b'str3'], dtype=object)]
# [8, array([2., 2., 2.], dtype=float32), array([b'str_2', b'str2'], dtype=object)]
# [9, array([1., 1., 1.], dtype=float32), array([b'str_1', b'str1'], dtype=object)]
# [10, array([0., 0., 0.], dtype=float32), array([b'str_0', b'str0'], dtype=object)]

3. tf.RandomShuffleQueue 随机乱序队列

函数原型:

tf.RandomShuffleQueue(capacity,
					 min_after_dequeue,
             		 dtypes,
             		 shapes=None,
             		 name=None,
             		 seed=None
            		 shared_name=None,
            		 name='random_suffle_queue')

参数 (其他参数意同 tf.FIFOQueue):

  • min_after_dequeue:指定队列中至少保留的元素个数。执行dequeue操作时,如果队列中的元素个数小于等于min_after_dequeue的值时,出队操作会处于停止状态,直到有新的元素入队使得队列中元素个数大于min_after_dequeue后,停止状态才会解除并完成出队操作。
  • seed:随机种子,用于生成随机数
import tensorflow as tf
import numpy as np

def init_data():
    data_list = []
    for i in range(10):
        float_data = [i, i, i]
        str_data = ['str_'+str(i), 'str'+str(i)]
        data_list.append((float_data, str_data))
    return data_list


if __name__=='__main__':
    data_list = init_data()

    queue = tf.RandomShuffleQueue(capacity=10,
                                  min_after_dequeue=5,
                                  dtypes=[tf.float32, tf.string],
                                  shapes=[(3,), (2,)])

    fp_data_tf = tf.placeholder(shape=(3,), dtype=tf.float32)
    str_data_tf = tf.placeholder(shape=(2,), dtype=tf.string)

    enqueue_op = queue.enqueue((fp_data_tf, str_data_tf))
    dequeue_data = queue.dequeue()

    with tf.Session() as sess:
        for fp_data, str_data in data_list:
            sess.run(enqueue_op, feed_dict={
     fp_data_tf:fp_data, str_data_tf:str_data})

        for i in range(10):
            print(sess.run(dequeue_data))


# # 输出为:
# [array([8., 8., 8.], dtype=float32), array([b'str_8', b'str8'], dtype=object)]
# [array([0., 0., 0.], dtype=float32), array([b'str_0', b'str0'], dtype=object)]
# [array([1., 1., 1.], dtype=float32), array([b'str_1', b'str1'], dtype=object)]
# [array([6., 6., 6.], dtype=float32), array([b'str_6', b'str6'], dtype=object)]
# [array([4., 4., 4.], dtype=float32), array([b'str_4', b'str4'], dtype=object)]

你可能感兴趣的:(TensorFlow,tensorflow,python,机器学习,深度学习)