多线程输入数据处理框架：队列与多线程

队列：修改队列状态的操作主要有Enqueue、EnqueueMany、Dequeue
Tensorflow中提供了FIFOQueue和RandomShuffleQueue两种队列，下面程序首先展示的是如何使用FIFOQueue（先入先出）：

import tensorflow as tf  
#创建一个先进先出队列，指定队列中最多可保存2个元素，并指定类型为整数
q=tf.FIFOQueue(2,'int32')
#使用enqueue_many函数初始化队列中的元素。和变量初始化类似，在使用队列之前需要明确调用这个初始化过程
init=q.enqueue_many(([0,10],))
#使用Dequeue函数将队列中的第一个元素出列，值存在变量x中
x=q.dequeue()
#将得到的值加1
y=x+1
q_inc=q.enqueue([y])
with tf.Session() as sess:
  #初始化队列
  init.run()
  for _ in range(5):
      v,_=sess.run([x,q_inc])
      print(v)

RandomShuffleQueue会将队列中的元素打乱，每次出队操作的是当前队列所有元素中随机选择的一个，在训练神经网络时希望每次使用的训练数据尽量随机，RandomShuffleQueue就提供了这样的功能。

多线程：这里先介绍TensorFlow提供的副主函数来更好的协同不同的线程
TensorFlow提供了tf.Coordinator和tf.QueueRunner两个类来完成多线程协同的功能。tf.Coordinator主要用于协同多个线程一起停止，并提供了should_stop、request_stop、join三个函数，在启动线程之前，需要先声明一个tf.Coordinator类，并将这个类传入每一个创建的线程中。启动的线程需要一直查询tf.Coordinator类中提供的should_stop函数，当这个函数的返回值为Ture时，则当前线程也需要退出。每一个启动的线程都可以通过调用request_stop函数来通知其他线程退出。当某一个线程调用request_stop函数之后，should_stop函数的返回值将被设置为true，这样其他的线程就可以同时终止了。下面程序展示了如何使用tf.Coordinator：

import tensorflow as tf
import numpy as np
import threading
import time

def MyLoop(coord,worker_id):
  #使用tf.Coordinator类提供的协同工具判断当前线程是否需要停止
  while not coord.should_stop():
      #随机停止所有的线程
      if np.random.rand()<0.1:
          print('stoping from id:%d\n'%worker_id)
          #调用coord.request_stop()来通知其他线程停止
          coord.request_stop()
      else:
          #打印当前线程的Id
          print('working on id:%d\n'%worker_id)
      #暂停1秒
      time.sleep(1)

#声明一个tf.train.Coordinator类来协同多个线程
coord=tf.train.Coordinator()
#声明创建5个线程
threads=[
  threading.Thread(target=MyLoop,args=(coord,i, )) for i in range(5)]
#启动所有线程
for t in threads:t.start()
#等待所有线程退出
coord.join(threads)

运行结果：

working on id:0
working on id:1
working on id:2
stoping from id:3
working on id:1

tf.QueueRunner主要用于启动多个线程来操作同一个队列，启动的这些线程可以通过上面介绍的tf.Coordinator类来统一管理。下面代码展示了如何使用tf.QueueRunner和tf.Coordinator来管理多线程队列操作：

import tensorflow as tf
#声明一个先进先出的队列，队列中最多100个元素，类型为实数
queue=tf.FIFOQueue(100,'float')
#定义队列的入队操作
enqueue_op=queue.enqueue([tf.random_normal([1])])
#使用tf.train.QueueRunner来创建多个线程运行队列的入队操作
#第一个参数给出了被操作的队列，第二个参数表示需要启动5个线程
qr=tf.train.QueueRunner(queue,[enqueue_op]*5)
#将qr加入默认的tf.GraphKeys.QUEUE_RUNNERS集合
tf.train.add_queue_runner(qr)
#定义出队操作
out_tensor=queue.dequeue()

with tf.Session() as sess:
  #使用tf.train.Coordinator来协同启动的线程
  coord=tf.train.Coordinator()
  #tf.train.start_queue_runners函数会默认启动tf.GraphKeys.QUEUE_RUNNERS集合中的所有QueueRunner
  threads=tf.train.start_queue_runners(sess=sess,coord=coord)
  #获取队列中的取值
  for _ in range(3):
      print(sess.run(out_tensor)[0])
  #使用tf.train.Coordinator来停止所有线程
  coord.request_stop()
  coord.join()

运行结果：

-1.4141954
-0.6550594
-0.17549987  

tf.Coordinator和 tf.Queuerunner从设计上这两个类必须一起使用。 Coordinator类可以用来同时停止多个工作线程并且向在等待所有工作线程终止的程序报告异常。 Queuerunner类用来协调多个工作线程同时将多个张量推入同一个队列中。