TensorFlow学习笔记10----Logging and Monitoring Basics with tf.contrib.learn

原文教程：tensorflow官方教程

记录关键内容与学习感受。未完待续。。

Logging and Monitoring Basics with tf.contrib.learn

——当训练一个模型时，实时地跟踪和验证处理过程是很有价值的。在本教程中，你将学习如何使用tensorflow的日志功能和监督API，来审计一个关于鸢尾花分类的神经网络分类器的训练过程。这个教程的代码依赖于tf.contrib.learn Quickstart，如果你没有完成这个教程，你最好先完成此教程，特别是如果你想补充tf.contrib.learn的学习。

1、安装

——对于这个教程，建立在tf.contrib.learn Quickstart的代码之上。

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import tensorflow as tf
import numpy as np

# data sets
IRIS_TRAINING = "iris_training.csv"
IRIS_TEST = "iris_test.csv"

# load datasets.
training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
    filename = IRIS_TRAINING,
    target_dtype = np.int,
    features_dtype = np.float32
)
test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
    filename = IRIS_TEST,
    target_dtype = np.int,
    features_dtype = np.float32
)

# specify that all features have real-value data
feature_columns = [tf.contrib.layers.real_valued_column("",dimension=4)]

# build 3 layer dnn with 10,20,10 units respectively.
classifier = tf.contrib.learn.DNNClassifier(
    feature_columns = feature_columns,
    hidden_units = [10,20,10],
    n_classes = 3,
    model_dir = "/tmp/iris_model"
)

# fit model.
classifier.fit(
    x = training_set.data,
    y = training_set.target,
    steps=2000
)

# evaluate accuracy.
accuracy_score = classifier.evaluate(
    x = test_set.data,
    y = test_set.target
)["accuracy"]
print('Accuracy:{0:f}'.format(accuracy_score))

# classify two new flower samples.
new_samples = np.array(
    [[6.4,3.2,4.5,1.5], [5.8,3.1,5.0,1.7]], dtype=float
)
y = list(classifier.predict(new_samples, as_iterable=True))
print('Predictions: {}'.format(str(y)))

——将上述代码复制到一个文件中，下载与之相关的training和test数据集到同一个目录下。

——在以下的模块中，你将会主见地对上述代码做一些更新，添加日志和监控功能。最终合并后的代码可以从这里下载。

2、综述

——tf.contrib.learn Quickstart tutorial介绍了如何实现一个神经网络分类器，将鸢尾花的例子分为三种类别。

——但是教程中的这份code运行后，输出没有包含任何跟踪模型是如何在中间过程训练的日志，仅仅只有打印的结果，如下：

Accuracy: 0.933333
Predictions: [1 2]

——实际运行结果截图：

——没有任何日志，模型训练感觉就像发生在一个黑盒子中，你无法知道发生了什么，tensorflow是如何进行梯度下降，获取模型是否恰当的合并的信息，或者是升级决定提早停止是否是合适的。

——一个解决这个问题的方法是，分片模型训练，到多个fit函数中，每次调用一个比较小的步数，使得验证的正确度主键增加。然而，在实践中并不推荐，这对训练模型将会大大减慢。幸运的是，tf.contrib.learn提供了另一个解决方法：Monitor API设计用来帮助你在训练的中间过程记录度量和验证模型。在下面部分，你将学习在tensorflow上如何如何有效记录日志，设置ValidationMonitor来做流验证，并且是tensorboard形象化你的度量。

3、Enabling Logging with TensorFlow

——tensorflow对于日志信息有五个不同的级别。为了表明级别上升性，它们是DEBUG，INFO，WARN，ERROR，和FATAL。当你在这几个级别中设置日志时，tensorflow将会输出与这个级别相关的、以及更高级别的所有日志文件。例如，如果你设置了一个ERROR级别的日志，你得到的输出日志信息将包括ERROR和FATAL，如果你设置的级别是DEBUG，你将会得到所有5个级别的日志信息。

——默认情况下，tensorflow设置成WARN级别的日志，但是当跟踪模型训练时，你可以调整级别到INFO，它将提供fit操作过程中额外的反馈。

——在你代码最开始的地方添加如下一行，（在你的imports模块之后）：

tf.logging.set_verbosity(tf.logging.INFO)

——当你运行代码时，你将看到如下一样额外的日志输出：

INFO:tensorflow:Training steps [0,200]
INFO:tensorflow:global_step/sec: 0
INFO:tensorflow:Step 1: loss_1:0 = 1.48073
INFO:tensorflow:training step 100, loss = 0.19847 (0.001 sec/batch).
INFO:tensorflow:Step 101: loss_1:0 = 0.192693
INFO:tensorflow:Step 200: loss_1:0 = 0.0958682
INFO:tensorflow:training step 200, loss = 0.09587 (0.003 sec/batch).

——实际运行结果截图：

——在INFO级别下，tf.contrib.learn每100步后，自动输出training-loss
metrics到stderr中。

4、Configuring a ValidationMonitor for Streaming Evaluation

——记录训练损失对于获取你的模型是否收敛的信息是很有帮助的，但是如果你想进一步地洞悉训练过程到底发生了什么，tf.contrib.learn提供几个高级别的Monitors，你可以添加到你的fit操作中，进一步地跟踪度量或者是在模型训练过程中，调试低级别的tensorflow操作，包括：

Monitor	Description
CaptureVariable	Saves a specified variable’s values into a collection at every n steps of training
	在训练的每n步之后，保存一个指定变量的值到一个聚集中。
PrintTensor	Logs a specified tensor’s values at every n steps of training
	在训练的每n步之后，记录指定的tensor的值。
SummarySaver	Saves Summary protocol buffers for a given tensor using a SummaryWriter at every n steps of training
	使用一个SummaryWriter在训练的每n步之后，保存指定tensor的简要协议缓冲。
ValidationMonitor	Logs a specified set of evaluation metrics at every n steps of training, and, if desired, implements early stopping under certain conditions
	在训练的每n步之后记录验证度量的指定集合，如果需要，在确定的条件下实现提早停止。

4.1 Evaluating Every N Steps

——在鸢尾花神经网络分类器，当记录训练损失时，你可能想同时的验证测试数据，来看看模型是如何归纳的。你可以通过配置ValidationMonitor，来完成测试数据（test_set.data和test_set.target）的验证，并且设置every_n_steps来确定多长时间验证一次。every_n_steps的默认值是100，这里设置every_n_steps为50，在模型训练中每50次进行一次验证。

validation_monitor = tf.contrib.learn.monitors.ValidationMonitor(
    test_set.data,
    test_set.target,
    every_n_steps=50
)

——-将这几行代码放在实例化classifier之前。

——ValidationMonitors依赖于保存检查点以完成验证操作，因此，如果你想修改classifier的实例化以添加一个包含save_checkpoints_secs的RunConfig，save_checkpoints_secs指定了在训练过程中，间隔多少秒来保存检查点。因为鸢尾花数据非常小，训练的很快，设置save_checkpoints_secs为1（每1秒保存一个检查点）来保证有足够多的检查点的数据是合理的。

classifier = tf.contrib.learn.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[10,20,10],
    n_classes=3,
    model_dir="/tmp/iris_model",
    config=tf.contrib.learn.RunConfig(save_checkpoints_secs=1)
)

——注意：model_dir参数指定了模型数据存放的一个具体路径（/tmp/iris_model），这个路径比自动产生的更容易引用。每次你运行这个代码，任何存在于/tmp/iris_model的数据都会被加载，并且模型训练将会一直持续，在最后一次运行时（例如，连续运行两次脚本在训练过程中将会执行4000步—-每次fit操作会有2000步）会中断。为了重新开始模型训练，在运行代码之前要删除/tmp/iris_model。

——最后，为了依附于你的validation_monitor，更新fit调用，包括monitors参数，在模型训练中需要所有monitors的一个列表来运行。

classifier.fit(
    x=training_set.data,
    y=training_set.target,
    steps=2000,
    monitors=[validation_monitor]
)

——现在，当你运行代码时，你可以在你的日志输出中看到验证度量，例如：

INFO:tensorflow:Validation (step 50): loss = 1.71139, global_step = 0, accuracy = 0.266667
...
INFO:tensorflow:Validation (step 300): loss = 0.0714158, global_step = 268, accuracy = 0.966667
...
INFO:tensorflow:Validation (step 1750): loss = 0.0574449, global_step = 1729, accuracy = 0.966667

——实际运行截图：

4.2 Customizing the Evaluation Metrics

——默认情况，如果没有验证度量被指定，ValidationMonitor将同时记录loss和正确度，但是你可以自定义度量的列表，每50步运行一次。tf.contrib.metrics module为分类模型提供各种额外的度量函数，你可以在盒子之外使用ValidationMonitor，包括streaming_precision和streaming_recall。为了在每一个验证环节要确定你要运行的那个准确的度量，在ValidationMonitor构造函数添加一个ValidationMonitor参数，metrics包含了一个字典的键值对，每一个键就是你想记录的度量的名字，与之相关联的值就是计算度量的函数。

——-如下所示恢复ValidationMonitor的构造函数，除了正确度（loss总是被记录的，但是不需要明确的指定），添加精度和回调的记录。

validation_metrics = {
    "accuracy":tf.contrib.metrics.streaming_accuracy,
    "percision":tf.contrib.metrics.streaming_precision,
    "recall":tf.contrib.metrics.streaming_recall
}
validation_monitor = tf.contrib.learn.monitors.ValidationMonitor(
    test_set.data,
    test_set.target,
    every_n_steps=50,
    metrics=validation_metrics
)

——重新运行这个代码，你可以在你的日志输出中看到精度和回调，如下：

INFO:tensorflow:Validation (step 50): recall = 0.0, accuracy = 0.266667, global_step = 0, precision = 0.0, loss = 1.71139
...
INFO:tensorflow:Validation (step 150): recall = 1.0, accuracy = 0.966667, global_step = 132, precision = 1.0, loss = 0.157797
...
INFO:tensorflow:Validation (step 1600): recall = 1.0, accuracy = 0.966667, global_step = 1589, precision = 1.0, loss = 0.055873

——第一次运行出现了错误：“ValueError: Metrics passed provide only name, no prediction, but predictions are dict. Metrics: {‘recall’: , ‘percision’: , ‘accuracy’: }, Labels: Tensor(“output:0”, shape=(?,), dtype=int64).”截图如下：

——-查找了半天也没找出什么原因，然后看到别人在写validation_metrics的时候键值的写法上有些不同，于是尝试了一下，竟然可以，修改代码如下：

validation_metrics = {
    "accuracy":
        tf.contrib.learn.MetricSpec(
            metric_fn=tf.contrib.metrics.streaming_accuracy,
            prediction_key=tf.contrib.learn.PredictionKey.CLASSES),
    "precision":
        tf.contrib.learn.MetricSpec(
            metric_fn=tf.contrib.metrics.streaming_precision,
            prediction_key=tf.contrib.learn.PredictionKey.CLASSES),
    "recall":
        tf.contrib.learn.MetricSpec(
            metric_fn=tf.contrib.metrics.streaming_recall,
            prediction_key=tf.contrib.learn.PredictionKey.CLASSES)
}

——–截图如下：

——最终运行结果如下：

4.3 Early Stopping with ValidationMonitor

——注意，在上述的日志输出中，在150步的时候，模型已经实现了精度和回调都是1.0的比率，这里提出问题，模型训练提早停止是有好处的。

——除了记录验证度量，当指定的情形是met,通过三个参数，ValidationMonitors使得实现提早停止也是很容易的：

Param	Description
early_stopping_metric	Metric that triggers early stopping (e.g., loss or accuracy) under conditions specified in early_stopping_rounds and early_stopping_metric_minimize. Default is “loss”.
-	在指定early_stopping_rounds和early_stopping_metric_minimize之下，触发提早停止（如loss和正确度）的度量。默认是loss。
early_stopping_metric_minimize	True if desired model behavior is to minimize the value of early_stopping_metric; False if desired model behavior is to maximize the value of early_stopping_metric. Default is True.
-	如果希望的模型行为是最小化early_stopping_metric的值的话就为true，如果希望的模型行为是最大化early_stopping_metric的值的话就是false，默认为true。
early_stopping_rounds	Sets a number of steps during which if the early_stopping_metric does not decrease (if early_stopping_metric_minimize is True) or increase (if early_stopping_metric_minimize is False), training will be stopped. Default is None, which means early stopping will never occur.
-	设置一个步数，在这个步数之后，如果early_stopping_metric没有减少（如果early_stopping_metric_minimize是true）或者提高（如果early_stopping_metric_minimize是false），训练将会停止。默认是None，这意味着提早停止永远不会发生。

.

——以下关于ValidationMonitor构造函数的修正版明确了，如果超过200步（early_stopping_rounds=200）之后，损失loss（early_stopping_metric=”loss”）没有减少（early_stopping_metric_minimize=True），模型训练将会在那个点立刻停止，并且不会完成在fit中指定的2000步的训练。

validation_monitor = tf.contrib.learn.monitors.ValidationMonitor(
    test_set.data,
    test_set.target,
    every_n_steps=50,
    metrics=validation_metrics,
    early_stopping_metric="loss",
    early_stopping_metric_minimize=True,
    early_stopping_rounds=200
)

——-运行这份代码，如果模型训练提前停止的话：

...
INFO:tensorflow:Validation (step 1450): recall = 1.0, accuracy = 0.966667, global_step = 1431, precision = 1.0, loss = 0.0550445
INFO:tensorflow:Stopping. Best step: 1150 with loss = 0.0506100878119.

——实际运行结果：

——事实上，这里训练在1450步（自己的实际运行是1050）的时候停止，这表明在过去的200步中，loss没有减少，总的来说，在1150步的时候，测试数据集产生了最小的损失值。这意味着超参数额外的校准可以通过减少步数来进一步的提高模型。

5、Visualizing Log Data with TensorBoard

——通过阅读ValidationMonitor产生的日志，在训练过程中，提供了大量的模型性能上的原始数据，但是看到这些数据的可视化是有用的，可以进一步的洞察它的趋势—例如，随着训练步数的改变，正确度是如何改变的。你可以使用tensorBoard（tensorflow包装过的一个分离的程序）画出图，通过设置logdir的命令行参数到你存储模型训练数据的路径中（这里是/tmp/iris_model）。在你的命令行下运行下面代码：

$ tensorboard --logdir=/tmp/iris_model/

——截图：

——接着在你的浏览器中输入提供的URL（这里是http://0.0.0.0:6006）。如果你点击accuracy部分，你将会看到如下的一个图像，这里显示了随着训练步数标注的正确度。

——更多关于TensorBoard的使用，点击TensorBoard: Visualizing Learning和TensorBoard: Graph Visualization。

——以上，结束。