caffe训练模型输出到log.txt

开始我一直以为是用caffe里面的东西加LOG输出,后来才明白是linux的输出功能。

加一个小插曲:Caffe LOG(INFO) 打开出现问题时:

问题:

      LOG(ERROR) 可以正常打印信息。

      LOG(INFO) 不起作用。

 解决办法:

添加此句: FLAGS_alsologtostderr =1

然后先看一下是怎么加输出到日志,

$ sh train_caffenet.sh 2>&1 | tee /home/lb/log/log_40.txt | less

解析一下:

===============================================================================================================================

2>&1使用

一 相关知识

1)默认地,标准的输入为键盘,但是也可以来自文件或管道(pipe |)。
2)默认地,标准的输出为终端(terminal),但是也可以重定向到文件,管道或后引号(backquotes `)。
3) 默认地,标准的错误输出到终端,但是也可以重定向到文件。
4)标准的输入,输出和错误输出分别表示为STDIN,STDOUT,STDERR,也可以用0,1,2来表示。
5)其实除了以上常用的3中文件描述符,还有3~9也可以作为文件描述符。3~9你可以认为是执行某个地方的文件描述符,常被用来作为临时的中间描述符。

对于& 1 更准确的说应该是文件描述符 1,而1一般代表的就是STDOUT_FILENO,实际上这个操作就是一个dup2(2)调用.他标准输出到all_result,然后复制标准输出到文件描述符2(STDERR_FILENO),其后果就是文件描述符1和2指向同一个文件表项,也可以说错误的输出被合并了.其中0表示键盘输入 1表示屏幕输出,2表示错误输出.把标准出错重定向到标准输出,然后扔到/DEV/NULL下面去。通俗的说,就是把所有标准输出和标准出错都扔到垃圾桶里面。

     command >out.file 2>&1 &

     command>out.file是将command的输出重定向到out.file文件,即输出内容不打印到屏幕上,而是输出到out.file文件中。

2>&1是将标准出错重定向到标准输出,这里的标准输出已经重定向到了out.file文件,即将标准出错也输出到out.file文件中。最后一个&, 是让该命令在后台执行。

试想2>1代表什么,2与>结合代表错误重定向,而1则代表错误重定向到一个文件1,而不代表标准输出;

换成2>&1,&与1结合就代表标准输出了,就变成错误重定向到标准输出.

你可以用

     ls 2>1测试一下,不会报没有2文件的错误,但会输出一个空的文件1;

     ls xxx 2>1测试,没有xxx这个文件的错误输出到了1中;

     ls xxx 2>&1测试,不会生成1这个文件了,不过错误跑到标准输出了;

     ls xxx >out.txt 2>&1, 实际上可换成 ls xxx 1>out.txt 2>&1;重定向符号>默认是1,错误和输出都传到out.txt了。

为何2>&1要写在后面?

     command > file 2>&1

首先是command > file将标准输出重定向到file中, 2>&1 是标准错误拷贝了标准输出的行为,也就是同样被重定向到file中,最终结果就是标准输出和错误都被重定向到file中。

     command 2>&1 >file

     2>&1 标准错误拷贝了标准输出的行为,但此时标准输出还是在终端。>file 后输出才被重定向到file,但标准错误仍然保持在终端。

用strace可以看到:

    1. command > file 2>&1

    这个命令中实现重定向的关键系统调用序列是:

    open(file) == 3

    dup2(3,1)

    dup2(1,2)

    2. command 2>&1 >file

    这个命令中实现重定向的关键系统调用序列是:

    dup2(1,2)

    open(file) == 3

    dup2(3,1)

可以考虑一下不同的dup2()调用序列会产生怎样的文件共享结构。

二 实例

1)command 2>errfile : command的错误重定向到文件errfile。
2)command 2>&1 | ...: command的错误重定向到标准输出,错误和标准输出都通过管道传给下个命令。
3)var=`command 2>&1`: command的错误重定向到标准输出,错误和标准输出都赋值给var。
4)command 3>&2 2>&1 1>&3 | ...:实现标准输出和错误输出的交换。
5)var=`command 3>&2 2>&1 1>&3`:实现标准输出和错误输出的交换。
6)command 2>&1 1>&2 | ...     (wrong...) :这个不能实现标准输出和错误输出的交换。因为shell从左到右执行命令,当执行完2>&1后,错误输出已经和标准输出一样的,再执行1>&2也没有意义。

三 "2>&1 file"和 "> file 2>&1"区别

1)cat food 2>&1 >file :错误输出到终端,标准输出被重定向到文件file。
2)cat food >file 2>&1 :标准输出被重定向到文件file,然后错误输出也重定向到和标准输出一样,所以也错误输出到文件file。

四 注意
通常打开的文件在进程推出的时候自动的关闭,但是更好的办法是当你使用完以后立即关闭。用m<&-来关闭输入文件描述符m,用m>&-来关闭输出文件描述符m。如果你需要关闭标准输入用<&-; >&- 被用来关闭标准输出。

五 同时输出到终端和文件 copy source dest | tee.exe copyerror.txt

===============================================================================================================================

" | "这个是shell管道命令,

管道命令操作符是:”|”,它仅能处理经由前面一个指令传出的正确输出信息,也就是 standard output 的信息,对于 stdandard
error 信息没有直接处理能力。然后,传递给下一个命令,作为标准的输入 standard input.

  • 管道命令使用说明:

先看下下面图:

image

command1正确输出,作为command2的输入 然后comand2的输出作为,comand3的输入 ,comand3输出就会直接显示在屏幕上面了。

通过管道之后:comand1,comand2的正确输出不显示在屏幕上面

注意:

1、管道命令只处理前一个命令正确输出,不处理错误输出

2、管道命令右边命令,必须能够接收标准输入流命令才行。

实例:

[chengmo@centos5 shell]$ cat test .sh | grep -n 'echo'
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#读出test.sh文件内容,通过管道转发给grep 作为输入内容
 
[chengmo@centos5 shell]$ cat test .sh test1.sh | grep -n 'echo'
cat : test1.sh: 没有那个文件或目录
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#cat test1.sh不存在,错误输出打印到屏幕,正确输出通过管道发送给grep
 
 
[chengmo@centos5 shell]$ cat test .sh test1.sh 2> /dev/null | grep -n 'echo' 
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#将test1.sh 没有找到错误输出重定向输出给/dev/null 文件,正确输出通过管道发送给grep
 
 
[chengmo@centos5 shell]$ cat test .sh | ls
catfile      httprequest.txt  secure  test            testfdread.sh  testpipe.sh    testsh.sh      testwhile2.sh
envcron.txt  python           sh      testcase.sh     testfor2.sh    testselect.sh  test .txt       text.txt
env .txt      release          sms     testcronenv.sh  testfor.sh     test .sh        testwhile1.sh
#读取test.sh内容,通过管道发送给ls命令,由于ls 不支持标准输入,因此数据被丢弃

这里实例就是对上面2点注意的验证。作用接收标准输入的命令才可以用作管道右边。否则传递过程中数据会抛弃。 常用来作为接收数据管道命令有:sed,awk,cut,head,top,less,more,wc,join,sort,split 等等,都是些文本处理命令。

  • 管道命令与重定向区别

区别是:

1、左边的命令应该有标准输出 | 右边的命令应该接受标准输入
   左边的命令应该有标准输出 > 右边只能是文件
   左边的命令应该需要标准输入 < 右边只能是文件

 

2、管道触发两个子进程执行"|"两边的程序;而重定向是在一个进程内执行

这些都是网上总结很多的,其实只要多加清楚用法,也一定有自己的一份不同描述。

实例:

#可以相互转换情况
#输入重定向
 
[chengmo@centos5 shell]$ cat test .sh| grep -n 'echo'
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#"|"管道两边都必须是shell命令
 
 
[chengmo@centos5 shell]$ grep -n 'echo' < test .sh   
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#"重定向"符号,右边只能是文件(普通文件,文件描述符,文件设备)
 
 
[chengmo@centos5 shell]$ mail -s 'test' [email protected] < test .sh
[chengmo@centos5 shell]$ cat test .sh|mail -s 'test' [email protected]
#以上2个也相同,将test.sh内容发送到指定邮箱。
 
 
[chengmo@centos5 shell]$ ( sed -n '1,$p' | grep -n 'echo' )< test .sh
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
#这个脚本比较有意思了。由于前面是管道,后面需要把test.sh内容重定向到 sed ,然后sed输出通过管道,输入给grep.需要将前面用"()"运算符括起来。在单括号内的命令,可以把它们看作一个象一个命令样。如果不加括号test.sh就是grep 的输入了。
 
 
#上面一个等同于这个
[chengmo@centos5 shell]$ sed -n '1,$p' < test .sh | grep -n 'echo'
5:    echo "very good!" ;
7:    echo "good!" ;
9:    echo "pass!" ;
11:    echo "no pass!" ;
 
#重定向运算符,在shell命令解析前,首先检查的(一个命令,执行前一定检查好它的输入,输出,也就是0,1,2 设备是否准备好),所以优先级会最高
 
 
[chengmo@centos5 shell]$ sed -n '1,10p' < test .sh | grep -n 'echo'
10: echo $total;
18: echo $total;
21:     echo "ok" ;
#哈哈,这个grep又接受管道输入,又有testsh.sh输入,那是不是2个都接收呢。刚才说了"<"运算符会优先,管道还没有发送数据前,grep绑定了testsh.sh输入,这样sed命令输出就被抛弃了。这里一定要小心使用
 
#输出重定向
 
[chengmo@centos5 shell]$ cat test .sh> test .txt
[chengmo@centos5 shell] cat test .sh| tee test .txt &> /dev/null
#通过管道实现将结果存入文件,还需要借助命令tee,它会把管道过来标准输入写入文件test.txt ,然后将标准输入复制到标准输出(stdout),所以重定向到/dev/null 不显示输出
#">"输出重定向,往往在命令最右边,接收左边命令的,输出结果,重定向到指定文件。也可以用到命令中间。
 
 
[chengmo@centos5 shell]$ ls test .sh test1.sh testsh.sh 2>err.txt | grep 'test'
test .sh
testsh.sh
#目录下面有:test,testsh文件,test1.sh不存在,因此将ls 命令错误输出输入到err.txt 正确输出,还会通过管道发送到grep命令。
[chengmo@centos5 shell]$ ls test .sh test1.sh testsh.sh &>err.txt | grep 'test'
#这次打印结果是空,&代表正确与错误输出 都输入给err.txt,通过管道继续往下面传递数据为空,所以没有什么显示的
 
#同样">"输出重定向符,优先级也是先解析,当一个命令有这个字符,它就会与左边命令标准输出绑定。准备好了这些,就等待命令执行输出数据,它就开始接收

 

再概括下:

从上面例子可以看,重定向与管道在使用时候很多时候可以通用,其实,在shell里面,经常是【条条大路通罗马】的。一般如果是命令间传递参数,还是管道的好,如果处理输出结果需要重定向到文件,还是用重定向输出比较好。

命令执行顺序可以看下:Linux Shell 通配符、元字符、转义符使用实例介绍

  • shell脚本接收管道输入

有意思的问题:

既然作用管道接收命令,需要可以接收标准的输入,那么我们shell脚本是否可以开发出这样的基本程序呢?(大家经常看到的,都是一些系统的命令作为管道接收方)

实例(testpipe.sh):

#!/bin/sh
  
  if [ $ # -gt 0 ];then
      exec 0<$1;
#判断是否传入参数:文件名,如果传入,将该文件绑定到标准输入
  fi
  
  while read line
  do
      echo $line;
  done <&0;
#通过标准输入循环读取内容
  exec 0&-;
#解除标准输入绑定

运行结果:

[chengmo@centos5 shell]$ cat testpipe.txt
1,t,est pipe
2,t,est pipe
3,t,est pipe
4,t,est pipe
#testpipe.txt 只是需要读取的测试文本
 
[chengmo@centos5 shell]$ cat testpipe.txt | sh testpipe.sh
1,t,est pipe
2,t,est pipe
3,t,est pipe
4,t,est pipe
#通过cat 读取 testpipe.txt 发送给testpipe.sh 标准输入
 
[chengmo@centos5 shell]$ sh testpipe.sh testpipe.txt     
1,t,est pipe
2,t,est pipe
3,t,est pipe
4,t,est pipe
#testpipe.sh 通过出入文件名读取文件内容
===============================================================================================================================
接下来就是tee,

tee [-ai][--help][--version][文件...]

【功能】

tee以标准输入作为输入,标准输出和文件作为输出。

【举例】

*用tee生成一个文件,包含你敲入的内容:

$tee testfile

这样,会提示要你用标准输入输入内容,然后敲回车会将你输入的内容写入testfile和输出到标准输出,如果用[Ctrl]d结束输入([Ctrl]c也行)。如果原来testfile有内容,将会覆盖。

*把内容追加到文件的末尾行:

$tee -a testfile

结果类似上,不过如果原来testfile有内容则不会覆盖而是追加。

*生成一个文件,敲入的时候,不接受中断信号:

$tee -i testfile

结果同testfile,不过不会接收中断信号,只能用[Ctrl]d结束,而不能用[Ctrl]c了。

*执行ls列出目录文件同时将输出保存到文件test中:

$ls | tee test

这样,会像平时一样执行ls命令并将当前目录的文件名输出到标准输出。另外由于进行了tee命令,所以会生成一个test文件,这个test文件的内容和标准输出的内容一样。

【描述】

tee指令会从标准输入设备读取数据,将其内容输出到标准输出设备,同时保存成文件。可以用于既想看到标准输出,又想将标准输出保存到文件中的情况。

参数:

-a或--append 附加到既有文件的后面,而非覆盖它.

-i-i或 --ignore-interrupts  忽略中断信号。
=============================================================================================================================== [Linux]基本I/O重定向,

在我们设置定时任务的时候经常会使用标准输出和标准错误输出。这个在Linux是一个非常重要的概念,而且这个很有用。程序应该有数据库的来源端、数据的目的端,以及报告问题的地方,它们被称为标准输入、标准输出以及标准错误输出。

 
程序启动的时候,默认情况下,标准输出、输入都会已经打开,且已准备好供其使用。我们使用Xshell连接并登陆上服务器的时候,默认下终端就是标准输入、输出端。可以试试cat命令。
$ cat                                  #未指定任何的参数是,读取默认的标准输入、写入到默认的标准输出
建华是可以玩耍的小伙伴                    #用户输入(此时终端默认是标准输入)
建华是可以玩耍的小伙伴                    #程序将内容输出到标准输出(此时终端默认为标准输出)
^D                                     #输入Ctrl-D 告诉程序文件结尾

 

重定向与管道
Shell提供了数种语法,可以修改默认的IO的来源端和目的端,就是标准输入和输出的地方。
< 修改标准输入 sort < ucid.txt 默认下,标准输入为终端,此时可以更改为你想要的地方
<<   Command << delimiter 从标准输入中读入,直到遇到delimiter分割符
> 修改标准输出 ls -l > listinfo.txt 默认下,标准输出为终端,此时可以修改默认输出的地方。譬如可以将标准输出的内容写在文件中。
如果文件已存在,会被覆盖掉。
>>  输出附件到文件 ls -l >> listinfo.txt 与[>]不一样的是,[>]会清空原来的内容,而[>>]只是将标准输出追加到文件结尾处。
| 建立管道 program1 | program2 1. program1的标准输出为program2的标准输入;
2. 管道的执行效率比使用临时文件的程序起码高一个数量级;
 
[<]例子
场景:对文件内容的信息进行排序
[nemo@name tool]$ cat show.txt
2233803
1258962
[weiyg@name tool]$ sort < show.txt
2233803
8031001
[>]例子
场景:打印内容到文件
[name@name script]$ ll
total 20
-rw-rw-r--. 1 name name 254 Dec 31 13:45 ssh.rb
-rw-r--r--. 1 name name 476 Dec 30 11:48 sshx.rb
-rw-rw-r--. 1 name name  12 Dec 26 16:57 test.rb
[nameg@name script]$ ls -l > listinfo.txt
[name@name script]$ cat listinfo.txt 
total 20
-rw-rw-r--. 1 name name   0 Jan 22 21:35 listinfo.txt
-rw-rw-r--. 1 name name 254 Dec 31 13:45 ssh.rb
-rw-r--r--. 1 name name 476 Dec 30 11:48 sshx.rb
-rw-rw-r--. 1 name name  12 Dec 26 16:57 test.rb
在定时任务上面经常使用。因为定时任务执行的内容,不会打印到终端。如果需要查看结果的话就很麻烦。而打印到文件中的话,随时都可以查看了。不过这里往往用[>>]追加比较多。
 
[>>]例子
没啥好说的,跟[>]就是一个[>]会覆盖原有的文件,而[>>]只是追加。
 
[|]管道例子
场景:查询id为19217xxxx的玩家在1月15日使用道具的日志
[weiyg@name flash]$ bzcat *useprop.log.2014-01-15.bz2 |grep '19217xxxx'
1389717003317|19217xxxx|2|304|305|0|
1389717005097|19217xxxx|2|303|304|0|

这是查询游戏日志的一个例子。默认下,系统会将游戏5天前的日志进行打包压缩。而此时需要查询5天前的日志的话,使用上面的方法无论在效率上还是方便上,管道都有使用临时文件无法比拟的又是。当然使用下面的方法:

[weiyg@name flash]$ bzcat *useprop.log.2014-01-15.bz2 > tem.log
[weiyg@name flash]$ grep '19217xxxx' tem.log
1389717003317|19217xxxx|2|304|305|0|
1389717005097|19217xxxx|2|303|304|0|
也可以达到相同的结果,但相比使用管道,一、需要使用临时文件,读写在磁盘需要时间;二、临时文件还需要手动删除,比较麻烦。
注:bzcat 可以直接显示压缩文件的内容
 
特殊文件:/dev/null 与/dev/tty
/dev/null  传送到此文件的数据都会被系统丢掉,,就是输出到一个空设备的意思。
/dev/tty   程序打开此文件时,Linux会自动将它重定向到一个终端。
 
文件描述符
在定时任务,我们经常在重定向的时候,喜欢这样操作。
33 1 * * * /home/weiyg/crontab/clear_logs.sh > /dev/null 2>&1
后面的 2>&1是什么意思呢,这里就要理解文件描述符和绑定重定向的概念了。
文件 文件描述符
输入文件——标准输入 0(默认为终端(网上有说默认为键盘的))
输出文件——标准输出 1(默认为终端)
错误输出文件——标准错误 2(默认为终端)
绑定重定向
Commond >&m 标准输出重定向到文件描述符m中
Command <&- 关闭标准输入
Command 0>&- 关闭标准输出
 
此时我们再去理解[2>&1],就容易多了。[2]是标准错误的文件描述符,而[>&1]的意思重定向到标准输出。那么定时任务的解释就是,将[clear_logs.sh]执行的标准输出和标准错误重定向到[/dev/null](就是丢掉输出的内容)。
我是这样理解(不一定正确)上面的定时任务的(分2部分):
clear_logs.sh > /dev/null     #将clear_logs.sh执行的标准输出输出到/dev/null
clear_logs.sh 2> /dev/null    #将clear_logs.sh执行的标准错误输出到/dev/null,只是clear_logs.sh不是执行了2次,只是1次。这里的&1代表的就是/dev/null

==============================================================================================================================


你可能感兴趣的:(caffe,Linux)