用caffe自带程序画训练loss图

  注：有转载

 使用caffe自带的工具绘制loss函数曲线。由于最近使用caffe训练一个网络，学习了如何使用训练过程中生成的log来绘制loss函数曲线，主要用于观察所训练的网络是否收敛。

  Step1.对网络训练的脚本文件train.sh进行修改，加上生成log的语句。

$HOME/net/caffe/build/tools/caffe train -solver=solver.txt - snapshot=$HOME/raid/iter_107600.solverstate -gpu 2 2>&1 | tee out.log

开始训练网络后，则在当前目录下生成了训练日志文件out.log。

*需要注意：

①以上的2>&1是Linux下的信息流输出控制语法，实验证明若去掉则会导致训练的loss等信息不记录。

②out.log在生成之后需要使用caffe自带的python函数进行解析。

Step2.解析log文件，生成out.log.train和out.log.test文件。

这一步可以直接cd到caffe/tools/extra目录下调用parse_log.py函数进行解析，也可以把该目录下的parse_log.py，parse_log.sh， extract_seconds.py，plot_training_log.py.example这四个文件cp到当前目录之后进行解析。(去掉plot_training_log.py.example的.example)

Step3.在trainlog.log.train和trainlog.log.test中使用#注释掉第一行，或者对脚本进行修改。

使用以下语句执行绘图：

python plot_training_log.py 6 trainloss.png trainlog.log

Notes:

1. Supporting multiple logs.

2. Log file name must end with the lower-cased ".log".

Supported chart types:

0: Test accuracy vs. Iters

1: Test accuracy vs. Seconds

2: Test loss vs. Iters

3: Test loss vs. Seconds

4: Train learning rate vs. Iters

5: Train learning rate vs. Seconds

6: Train loss vs. Iters

7: Train loss vs. Seconds

小tip:

1、对于有多个output，参考https://www.cnblogs.com/ymjyqsx/p/7059280.html

修改部分

plot_training_log.py.example里的load_data函数

def load_data(data_file, field_idx0, field_idx1):
    data = [[], []]
    with open(data_file, 'r') as f:
        for line in f:
            line = line.strip()
            if line[0] != '#':
                line=','.join(filter(lambda x: x, line.split(' ')))
                print line
                fields = line.split(',')
                print fields
                data[0].append(float(fields[field_idx0].strip()))
                data[1].append(float(fields[field_idx1].strip()))
    return data

  2、对于没有test部分的，在程序中去掉test相关。

同时画多根线的方法

转载http://blog.csdn.net/qinqbaobei/article/details/54407837

tools/extra中自带样例plot_log.gnuplot.example，我们在其基础上进行修改。注释掉原文件内容（41-44）。

reset
set terminal png
set output "phase1.png"
set style data lines
set key right
# 设置多图模式
set multiplot
set title "Loss vs. training iterations"
set xlabel "Training iterations"
set ylabel "Loss"
plot "1.log.train" using 1:3 title "train loss", "1.log.test" using 1:4 title "test loss"

命令：gnuplot plot_log.gnuplot.example