利用grep和awk来分析nginx日志
前几天刚说了用logparser分析iis日志，但是发现我们公司的日志的Linux下的nginx日志，用logparser无法分析。后来看了一些资料原来可以用grep和akw命令来对日志进行分析。但是这要在Linux环境下才能操作，电脑上没有装Linux的可以安装一个模拟器，基本上能满足一些需求了。推荐用Cygwin，安装包很小，安装起来很方便。可在官网下载，下载地址：http://www.cygwin.com/
然后按照提示安装就可以了。会在桌面出现这个，但是点击就可以了。
先说下grep的用法，Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
格式：
grep [options]
主要的参数：
-c：只输出匹配行的计数。
-i：不区分大小写(只适用于单字符)。
-h：查询多文件时不显示文件名。
-l：查询多文件时只输出包含匹配字符的文件名。
-n：显示匹配行及行号。
-s：不显示不存在或无匹配文本的错误信息。
-v：显示不包含匹配文本的所有行。
pattern正则表达式主要参数：
\：忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
$:匹配正则表达式的结束行。
\<</span>：从匹配正则表达式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如[A]即A符合要求。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
。：所有的单个字符。
*：有字符，长度可以为0。
例：
比如把rizhi.log中所有百度蜘蛛的信息提取出来并显示行数结果放入baiduspider.txt文件中
$ grep -n'Baiduspider' rizhi.log >baidu.txt
修改：用grep来筛选还是有些不准备，因为有些访问记录是模拟百度蜘蛛的，那人选取的记录就不准确，可以用awk来筛选
cat rizhi.log|awk '$14~/Baiduspider/'>baidu.txt
我们还可以把日志中所以404状态的记录提前出来，放到404.txt文档中
$ grep'404' rizhi.log >404.txt
但是你会发现，很多不是404状态的记录也被抓取了。原来grep命令是文本搜索命令，会逐条搜索记录，把符合条件的筛选出来。那么这样去筛选就不准确，因此需要用到awk来分割记录，然后抓取。
cat rizhi.log|awk '$9~/404/' >404.txt
这就用awk很轻松的把日志中404状态的记录提取出来。
awk语法：
awk [-F re] [parameter...]['program'] [-f 'programfile'] [in_file_list]
-F re：允许awk更改其字段分隔符。awk默认参数是空格，可以不写。
我们分析下日志的格式
61.174.11.15|-|-|[12/Mar/2013:19:00:36|+0800]|"GET|/|HTTP/1.1"|200|16667|"-"|"Baiduspider+(+http://www.baidu.com/search/spider.htm)""
在空格处用竖线把这条记录分割几块，用$n表示具体位置。61.174.11.15就是$1,上个例子中状态码404就是$9.
我们截取百度蜘蛛访问的来源IP、时间、抓取的URL、返回码和抓取的大小。
cat rizhi.log|grep"Baiduspider" |awk '{print $1 , $4 , $7 , $8 , $9 , $10}'>Baiduspider.txt
Uniq去除重复命令
c:输出重复行的重复次数
d:尽输出重复的行
f:忽略一些字段，只比较制定字段
i:忽略大小写
d:忽略一些字符，只比较指定的字符
u:输出不重复行
w:制定要比较字符位置
sort排序命令
-b 忽略每行前面开始出的空格字符。
-c 检查文件是否已经按照顺序排序。
-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
-f 排序时，将小写字母视为大写字母。
-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
-m 将几个排序好的文件进行合并。
-M 将前面3个字母依照月份的缩写进行排序。
-n 依照数值的大小排序。
-o<输出文件> 将排序后的结果存入指定的文件。
-u输出行中删除重复项
-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
下面整理下grep，awk分析日志常用案例。
1.分析日志内，当天访问次数最多的10个页面，并且按降序排列。
cat rizhi.log|awk ‘{print$7}’|sort|uniq �Cc|sort �Cnr|head -10>example.txt
2．获取访问最高的10个IP地址
cat rizhi.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10>topip.txt
3.查看新闻频道的访问和蜘蛛,并且统计数量
catrizhi.log|awk '$14~/Baiduspider/'|awk '$7 ~/^\/news/ {print $0}'|wc-l
4.查看百度蜘蛛抓取不重复页面，并统计数量
cat rizhi.log|awk'$14~/Baiduspider/'|awk ’{print $7}’ |sort -u|wc -l
4.查看百度蜘蛛访问网站404状态码
cat rizhi.log|awk '$14~/Baiduspider/'|awk '$9~/404/'
日志分析的目的：
1.监控蜘蛛的抓取数量
2.监控状态码的异常
3.监控重复的抓取率
4.监控蜘蛛的载入耗时
5. 提高有效抓取 , 推动收录 . （提高蜘蛛爬行效率，抓取核心页面）6. 持续监控 , 持续改善 . 提升效果。（数据的同比和环比，持续改善）