从Caffe模型训练中断处继续训练

1、本人的Caffe模型训练中断情况

训练进行到38610次迭代时意外中断，状态保存至38600次。
系统：linux
之前的训练脚本train.sh的内容为：

#!/bin/sh
if ! test -f example/MobileNetSSD_train.prototxt ;then
        echo "error: example/MobileNetSSD_train.prototxt does not exist."
        echo "please use the gen_model.sh to generate your own model."
        exit 1
fi
mkdir -p snapshot
../../build/tools/caffe train -solver="solver_train.prototxt" \
-weights="mobilenet_iter_73000.caffemodel" \
-gpu 0,1,2,3 \
2>&1 | tee train.log

2、中断后继续的方法

修改train.sh为：

#!/bin/sh
if ! test -f example/MobileNetSSD_train.prototxt ;then
        echo "error: example/MobileNetSSD_train.prototxt does not exist."
        echo "please use the gen_model.sh to generate your own model."
        exit 1
fi
mkdir -p snapshot
../../build/tools/caffe train -solver="solver_train.prototxt" \
-snapshot="./snapshot/mobilenet_iter_38600.solverstate" \
-gpu 0,1,2,3 \
2>&1 | tee train.log

运行，看下情况：
OK ~

参考：

【1】承接中断的caffe继续训练-windows