caffe训练日志 log 可视化分析

之前用过Tensorflow的Tensorboard可视化训练过程，感觉很好。所以在用Caffe时也想对训练的过程进行一下可视化。经过一番了解，简单实现了。现将实现过程记录如下：

1、输出训练过程到log 文件

在采用 shell 脚本进行 caffe 训练时，可以输出训练过程到log 文件，如

$CAFFE_ROOT/build/tools/caffe train -solver="solver_train.prototxt" \
-weights="mobilenet_iter_50000.caffemodel" \
-gpu 1,2,3 \
2>&1 | tee train.log

①运用tee命令：tee的意思就是命令行信息重定向的命令
②2>&1的意思是错误的信息也当成标准信息输出，这样能够保证输出log信息的完整性。
这是2>&1的详细解释：
File descriptor 1 is the standard output (stdout).
File descriptor 2 is the standard error (stderr).
Here is one way to remember this construct (although it is not entirely accurate): at first, 2>1 may look like a good way to redirect stderr to stdout. However, it will actually be interpreted as “redirect stderr to a file named 1”. & indicates that what follows is a file descriptor and not a filename. So the construct becomes: 2>&1.

2、使用Caffe提供的对输出log文件的解析工具

输出log文件解析的路径为：

$CAFFE_ROOT/tools/extra/

执行：

./plot_training_log.py chart_type[0-7] /where/to/save.png /path/to/first.log

如，我在自己的环境下执行的是：

python plot_training_log.py.example 6 train_loss_iters.png $CAFFE_ROOT/examples/MobileNet_SSD/train.log

按上图所说，6 生成的是Train loss vs. Iters

生成如下图所示的三个文件：

图片trian_loss_iters.png即为log文件的可视化：

参考

【1】Caffe - 训练日志 log 可视化分析
【2】caffe训练日志输出
【3】Caffe—根据log日志绘制loss曲线和accuracy