在Linux/UNIX上分析程序日志的技巧
http://www.linuxidc.com/Linux/2009-12/23293.htm
我们的应用运行在Linux 上，很多同事对命令行操作有恐惧感，于是为了分析 Linux 上程序的日志，采用的是 FTP+Ultraedit 方法。这种方式不方便、实时性不够，也不够专业。如果碰到几百兆甚至上G 的日志文件，这种分析方式的效率也很成问题，尤其是需要实施跟踪日志的情况下。
于是我把在 Linux 上分析程序日志的几个常用指令及其配合使用总结一下，希望对大家有所帮助。
指令介绍：
more ：
作用：该指令，可以将文件的内容，从前向后，每次一屏，打印到终端屏幕上。
用法：
more filename
显示一屏信息后，' 空格' 向下翻一屏，' 回车' 向下翻一行，' q ' 退出。
cat ：
作用：该指令本来的作用，是将多个文件的内容合并起来，打印到标准输出，但最常见的用法是显示一个文件的内容，但文件比较大的情况，屏幕会很快滚动，无法查看有效信息，建议使用 more 。
用法：
cat filename
grep ：
作用：打印文件或者标准输入中符合特定模式的行，该指令是从日志文件中检索特定信息的最有效手段。
用法：
1、 基本用法
grep pattern filename
如：
grep "error" catalina.out
可以将 tomcat 日志 catalina.out 中所有包含 error 的行显示出来
2、 使用正则表达式
grep -e "pattern" filename
如：
grep -e "[eE]rror" catalina.out
可以将 tomcat 日志 catalina.out 中所有包含 error 或者 Error 的行显示出来
3、 常用选项
-i 匹配时忽略大小写
-n 在打印的行前显示该行在原文件中的行号
-v 该选项，将 grep 的默认行为翻转，打印那些不包含特定模式的行
wc ：
作用：统计文件中的行数、字数和字节数
用法：
wc filename
如：
[service@localhost threshold]$ wc nohup.out
9761028 76738200 1672741676 nohup.out
从前到后的三个数分别是行数、字数、字节数。
该指令比较常用的参数是 -l ，这个参数可以只统计行数
[service@localhost threshold]$ wc -l nohup.out
9761028 nohup.out
head:
作用：显示文件的开头 N 行
用法：
head -num filename
如：
head -100 catalina.out
显示 catalina.out 的前 100 行
tail ：
作用：显示文件的最后 N 行，或者实时显示文件中新增的内容。
用法：
1、 显示文件最后 N 行
tail -num filename
如：
tail -100 catalina.out
则显示 catalina.out 文件的最后 100 行
2、 实时显示文件中新增内容
tail -f filename
如：
tail -f catalina.out
执行该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。
Linux/unix 的管道：
管道，顾名思义，你可以把它理解为一个管子，这个管子连接的是前一个指令的输出和后一个指令的输入。管道在命令行上用一个竖线 '|' 表示。
比如 ：
echo 'hello world'
在屏幕上打印一行字，而
echo 'hello world' | wc �Cl
就是把 echo 的输出送给 wc 指令， wc 指令统计行数，输出结果为:
1
组合使用：
通过分析日志来查找问题，其本质是在日志中寻找特定的模式，并定位该模式的出现的上下文（一般要求前后 N 行）。在实际应用场景中，我们更多的是组合使用前面介绍的指令，来快速定位对我们有用的日志信息。
以下场景，我们假定日志文件名为 catalina.out
场景一 ： 实时跟踪日志文件 ， 并过滤出包含特定关键字的日志
tail -f catalina.out | grep " 关键字 "
以上指令组合 ， 将 catalina.out 中新增的日志实时取出 ， 通过管道送给 grep 指令 ， grep 指令将其中包含 " 关键字 " 的行显示在 console 上 ， 直到用户按 ctrl+c 退出。管道可以多次连接，所以你可以在后面增加更多的 grep 来得到更加精确的过滤结果。
比如：
tail -f catalina.out | grep " 关键字 " | grep -v "debug"
以上指令组合，将显示所有包含" 关键字" 且不包含" debug " 的行。
场景二 ：寻找日志中某个异常的 stacktrace 和前后相关信息
第一步：定位出现异常的行， java 的异常，通常包含 Exception 字样
grep -n "Exception" catalina.out
该指令的 -n 参数会打印符合条件的行的行号，示例输出如下：
[itims@localhost logs]$ grep -n "Exception" catalina.out
33642:java.lang.NullPointerException
33910:java.lang.NullPointerException
34213:java.lang.NullPointerException
34523:java.lang.NullPointerException
34597:java.lang.NullPointerException
第二步 ： 截取 Exception 所在行的前后各 10 行。
比如我们想关注 33910 行的 NullPointerException ， 可以用如下指令 ：
head -33920 catalina.out | tail -20
该指令会得到如下输出 ：
[itims@localhost logs]$ head -33920 catalina.out | tail -20
Asia/Shanghai
CN
/usr/local/jdk1.5.0_12/jre
Thu Sep 17 11:13:00 GMT+08:00 2009
17 Sep 2009 03:13:00 GMT
2009-9-17 11:13:00
2009-09-17 11:13:00
java.util.GregorianCalendar[time=1253157180432,areFieldsSet=true,areAllFieldsSet=true,lenient=true,zone=sun.util.calendar.ZoneInfo[id="GMT+08:00",offset=28800000,dstSavings=0,useDaylight=false,transitions=0,lastRule=null],firstDayOfWeek=1,minimalDaysInFirstWeek=1,ERA=1,YEAR=2009,MONTH=8,WEEK_OF_YEAR=38,WEEK_OF_MONTH=3,DAY_OF_MONTH=17,DAY_OF_YEAR=260,DAY_OF_WEEK=5,DAY_OF_WEEK_IN_MONTH=3,AM_PM=0,HOUR=11,HOUR_OF_DAY=11,MINUTE=13,SECOND=0,MILLISECOND=432,ZONE_OFFSET=28800000,DST_OFFSET=0]
null
java.lang.NullPointerException
at itims.share.db.GlobalTransaction.rollback(GlobalTransaction.java:125)
at itims.web.frmwk.NetElementService.deleteNetelement(NetElementService.java:292)
at org.apache.jsp.frmwk.deletene_jsp._jspService(deletene_jsp.java:77)
at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:98)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:331)
at org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:329)
at org.apache.jasper.servlet.JspServlet.service(JspServlet.java:265)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:269)