深度学习训练过程生成日志文件

如何有效监控深度学习的训练过程，即便是在服务器突然宕机的情况下？

第一种

使用python的logging库函数，比较方便，当然需要书写一部分代码在python脚本中。

第二种 

在linux系统中简单粗暴的方式，直接将终端输出内容重定向（显示屏幕上面无内容输出）。

比如     python train.py >  log.txt

一个>直接将终端（显示器）出书内容定向到当前目录下的log.txt文件中，如果没有文件的话，就创建文件，有文件的话就覆盖。

python train.py >> log.txt

这种方式会在有log.txt时将内容追加到log.txt文件中去。

第三种 

既想要在终端显示内容，又想要将内容重新定向到日志文件，可以使用linux 内部命令 tee 命令。

python train.py | tee log.txt log.log

第三种是最为便捷和使用舒服的保存训练日志的办法，大家还有什么好的办法吗，欢迎交流。