TensorFlow可视化
在TensorFlow中，最常用的可视化方法有三种途径，分别为TensorFlow与OpenCv的混合编程、利用Matpltlib进行可视化、利用TensorFlow自带的可视化工具TensorBoard进行可视化。这三种方法中，TensorFlow中最重要的可视化方法是通过tensorBoard、tf.summary和tf.summary.FileWriter这三个模块相互合作来完成的。
1、TensorBoard简介
TensorBoard是TensorFlow官方推出的可视化工具，它可以将模型训练过程中的各种汇总数据展示出来，包括标量（Scalar）、图片（Images）、音频（Audio）、计算图（Graphs）、数据分布（Distributions）、直方图（Histograms）和嵌入向量（Embeddings）。在训练大型深度学习神经网络时，中间计算过程非常复杂，为了理解调试和优化我们设计的网络，我们可以使用TensorBoard观察训练过程中各种可视化数据。如果要使用TensorBoard展示数据，我们需要在执行TensorFlow计算图的过程中，将各种类型的数据汇总并记录到日志文件中。然后使用TensorBoard读取这些日志文件，解析数据并生成可视化的Web界面，让我们可以在浏览器中观察各种汇总的数据。
2、Summary方法详解:
（1）tf.summary.scalar（）：用来显示标量信息，其格式为：
tf.summary.scalar(name, tensor, collections=None)
例如：tf.summary.scalar('mean', mean)
一般在画loss,accuary时会用到这个函数。
（2）tf.summary.histogram（）：用来显示直方图信息，其格式为：
tf.summary.histogram(tags, values, collections=None, name=None)
例如： tf.summary.histogram('histogram', var)
一般用来显示训练过程中变量的分布情况
（3）tf.summary.distribution（）：分布图，一般用于显示weights分布
（4）tf.summary.text （）：可以将文本类型的数据转换为tensor写入summary中：
例如：
text = """/a/b/c\\_d/f\\_g\\_h\\_2017"""
summary_op0 = tf.summary.text('text', tf.convert_to_tensor(text))
（5）tf.summary.image（）：输出带图像的probuf
汇总数据的图像的的形式如下： ’ tag /image/0’, ’ tag /image/1’…，如：input/image/0等。
格式：tf.summary.image(name, tensor, max_outputs=3, collections=None)
（6）tf.summary.audio（）：展示训练过程中记录的音频
（7）tf.summary.merge_all（）：merge_all 可以将所有summary全部保存到磁盘，以便tensorboard显示。
如果没有特殊要求，一般用这一句就可一显示训练时的各种信息了。
格式：tf.summaries.merge_all(key='summaries')
（8）tf.summary.FileWriter（）：指定一个文件用来保存图。
格式：tf.summary.FileWritter(path,sess.graph)
可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中
Tensorflow Summary 用法示例:
tf.summary.scalar('accuracy',acc) #生成准确率标量图
merge_summary = tf.summary.merge_all()
train_writer = tf.summary.FileWriter(dir,sess.graph)#定义一个写入summary的目标文件，dir为写入文件地址
......(交叉熵、优化器等定义)
for step in xrange(training_step): #训练循环
train_summary = sess.run(merge_summary,feed_dict = {...})#调用sess.run运行图，生成一步的训练过程数据
train_writer.add_summary(train_summary,step)#调用train_writer的add_summary方法将训练过程以及训练步数保存 此时到日志的目录下启动CMD，开启tensorborad：tensorboard –logdir=./
便能看见accuracy曲线了。另外，如果我不想保存所有定义的summary信息，也可以用tf.summary.merge方法有选择性地保存信息
（9）tf.summary.merge（）：有选择性地保存信息
格式：tf.summary.merge(inputs, collections=None, name=None)
一般选择要保存的信息还需要用到tf.get_collection()函数
示例：
tf.summary.scalar('accuracy',acc) #生成准确率标量图
merge_summary = tf.summary.merge([tf.get_collection(tf.GraphKeys.SUMMARIES,'accuracy'),...(其他要显示的信息)])
train_writer = tf.summary.FileWriter(dir,sess.graph)#定义一个写入summary的目标文件，dir为写入文件地址
......(交叉熵、优化器等定义)
for step in xrange(training_step): #训练循环
train_summary = sess.run(merge_summary,feed_dict = {...}) #调用sess.run运行图，生成一步的训练过程数据
train_writer.add_summary(train_summary,step) #调用train_writer的add_summary方法将训练过程以及训练步数保存
使用tf.get_collection函数筛选图中summary信息中的accuracy信息，这里的tf.GraphKeys.SUMMARIES 是summary在collection中的标志。当然，也可以直接：
acc_summary = tf.summary.scalar('accuracy',acc) #生成准确率标量图
merge_summary = tf.summary.merge([acc_summary ,...(其他要显示的信息)]) #这里的[]不可省3、实例：用MLP训练mnist数据集
#coding=utf-8
import tensorflow as tf
import pickle
import numpy as np
max_steps=1000 # 最大迭代次数
learning_rate=0.001 # 学习率
dropout=0.9 # dropout概率
log_dir="E:/testdata/mnist_log" # 保存训练日志的目录，给TensorBoard使用
# 定义一个mnist数据集的类
class mnistReader():
def __init__(self,mnistPath,onehot=True):
self.mnistPath=mnistPath
self.onehot=onehot
self.batch_index=0
print ('read:',self.mnistPath)
fo = open(self.mnistPath, 'rb')
self.train_set,self.valid_set,self.test_set = pickle.load(fo,encoding='bytes')
fo.close()
self.data_label_train=list(zip(self.train_set[0],self.train_set[1]))
np.random.shuffle(self.data_label_train)
# 获取下一个训练集的batch
def next_train_batch(self,batch_size=100):
if self.batch_index < len(self.data_label_train)/batch_size:
print ("batch_index:",self.batch_index )
datum=self.data_label_train[self.batch_index*batch_size:(self.batch_index+1)*batch_size]
self.batch_index+=1
return self._decode(datum,self.onehot)
else:
self.batch_index=0
np.random.shuffle(self.data_label_train)
datum=self.data_label_train[self.batch_index*batch_size:(self.batch_index+1)*batch_size]
self.batch_index+=1
return self._decode(datum,self.onehot)
# 获取测试集的数据
def test_data(self):
tdata,tlabel=self.test_set
data_label_test=list(zip(tdata,tlabel))
return self._decode(data_label_test,self.onehot)
# 把一个batch的训练数据转换为可以放入模型训练的数据
def _decode(self,datum,onehot):
rdata=list() # batch训练数据
rlabel=list()
if onehot:
for d,l in datum:
rdata.append(np.reshape(d,[784])) # 转变形状为：一维向量
hot=np.zeros(10)
hot[int(l)]=1 # label设为100维的one-hot向量
rlabel.append(hot)
else:
for d,l in datum:
rdata.append(np.reshape(d,[784]))
rlabel.append(int(l))
return rdata,rlabel
sess=tf.InteractiveSession()
# 定义占位符，x是训练数据，y_是label
with tf.name_scope('input'):
x=tf.placeholder(tf.float32,[None,784],name='x-input')
y_=tf.placeholder(tf.float32,[None,10],name='y-input')
# 对输入图像转换形状为一通道
with tf.name_scope('input_reshape'):
image_reshaped_input=tf.reshape(x,[-1,28,28,1])
tf.summary.image('input',image_reshaped_input,10) # 图片汇总给TensorBoard，写入10张图片
# 权重初始化函数
def weight_variable(shape):
initial=tf.truncated_normal(shape,stddev=0.1)
return tf.Variable(initial)
# 偏置初始化函数
def bias_variable(shape):
initial=tf.constant(0.1,shape=shape)
return tf.Variable(initial)
# 变量的数据汇总函数：均值、方差、最大值、最小值、直方图
def variable_summaries(var):
with tf.name_scope('summaries'):
mean=tf.reduce_mean(var)
tf.summary.scalar('mean',mean)
with tf.name_scope('stddev'):
stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean)))
tf.summary.scalar('stddev',stddev)
tf.summary.scalar('max',tf.reduce_max(var))
tf.summary.scalar('min',tf.reduce_min(var))
tf.summary.histogram('histogram',var)
# 定义多层感知机，对权重、偏置、激活前、激活后数据进行汇总
def nn_layer(input_tensor,input_dim,output_dim,layer_name,act=tf.nn.relu):
with tf.name_scope(layer_name):
with tf.name_scope('weights'):
weights=weight_variable([input_dim,output_dim])
variable_summaries(weights)
with tf.name_scope('biases'):
biases=bias_variable([output_dim])
variable_summaries(biases)
with tf.name_scope('Wx_plus_b'):
preactivate=tf.matmul(input_tensor,weights)+biases
tf.summary.histogram('pre_activations',preactivate)
activations=act(preactivate,name='activation')
tf.summary.histogram('activations',activations)
return activations
# 定义第一个隐藏层
hidden1=nn_layer(x,784,500,'layer1')
# 定义Dropout层并汇总Dropout
with tf.name_scope('dropout'):
keep_prob=tf.placeholder(tf.float32)
tf.summary.scalar('dropout_keep_probability',keep_prob)
dropped=tf.nn.dropout(hidden1,keep_prob)
# 定义全连接层
y=nn_layer(dropped,500,10,'layer2',act=tf.identity)
# 定义交叉熵并汇总
with tf.name_scope('cross_entropy'):
diff=tf.nn.softmax_cross_entropy_with_logits(logits=y,labels=y_)
with tf.name_scope('total'):
cross_entropy=tf.reduce_mean(diff)
tf.summary.scalar('cross_entropy',cross_entropy)
# 定义优化器
with tf.name_scope('train'):
train_step=tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)
# 定义准确率并汇总
with tf.name_scope('accuracy'):
with tf.name_scope('correct_prediction'):
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
with tf.name_scope('accuracy'):
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
tf.summary.scalar('accuracy',accuracy)
# 把所有的汇总信息进行合并
merged=tf.summary.merge_all()
# 定义训练和测试的日志文件写入器
train_writer=tf.summary.FileWriter(log_dir+'/train',sess.graph)
test_writer=tf.summary.FileWriter(log_dir+'/test')
mnist=mnistReader(mnistPath="E:/testdata/mnist.pkl")
tf.global_variables_initializer().run()
# 定义填充真数据字典的函数
def feed_dict(train):
if train:
xs,ys=mnist.next_train_batch()
k=dropout
else:
xs,ys=mnist.test_data()
k=1.0
return {x:xs,y_:ys,keep_prob:k}
# 保存训练结果的saver
saver=tf.train.Saver()
# 开始训练
for i in range(max_steps):
# 每10次计算一次准确率
if i%10==0:
summary,acc=sess.run([merged,accuracy],feed_dict=feed_dict(False))
test_writer.add_summary(summary,i)
print ('accuracy at step %s:%s'%(i,acc))
else:
# 每100次保存一次训练结果
if i%100==99:
run_options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
run_metadata=tf.RunMetadata()
summary,_=sess.run([merged,train_step],feed_dict=feed_dict(True),options=run_options,run_metadata=run_metadata)
train_writer.add_summary(summary,i)
saver.save(sess,log_dir+'/model.ckpt',i)
print ('adding run metedata for ',i)
else:
summary,_=sess.run([merged,train_step],feed_dict=feed_dict(True))
train_writer.add_summary(summary,i)
train_writer.close()
test_writer.close()接下来启动TensorBoard，在E:/testdata/mnist_log目录下启动命令行CMD：tensorboard –logdir=./
然后在浏览器输入地址：http://Lenovo-495:6006
参考：https://blog.csdn.net/hongxue8888/article/details/79753679
https://www.tensorflow.org/programmers_guide/summaries_and_tensorboard