通过对awk, wc, uniq, grep, sort等命令的组合,分析nginx的access和error日志。
统计各种总量、单位时间量。
access.log日志格式(见下图)
说明:
a). 按照Tab键拆分每项数据
b). 字段含义(如下说明)
column1:ip_address
column2:log_time
column3:request
column4:status_code
column5:send_bytes
column6:referer
需求一:统计总记录数,总成功数,各种失败数:404,403,500
1. 提取总数
思路:拆分原始文件,找到状态列,按照不同条件值,分别获取总数。
a). 使用awk拆分并提取状态码列,并保证该列值大于0,并使用wc命令计算总行
wc -l 对结果进行汇总
awk使用-F来指定数据项分隔符。一个字符可是直接使用,比如-F:(英文逗号分隔),否则应该使用英文‘’将分隔符括起来,比如
-F'\t'。
b). 添加说明信息
wc -l 的结果作为awk的第一列,所以取$1
2. 提取成功、各种失败总数
a). 200成功总数
在使用awk时,针对变量使用条件执行过滤
b). 404失败总数
c). 403失败总数
d).500失败总数
需求二:各种错误中,哪类URL出现的次数最多,要求剔除重复项,并倒叙给出结果
思路:
1). 拆分获取request和StatusCode
2). 对request再拆分获取真实URL
3). 对URL排序,排重,再计算总数,最后再倒叙给出结果
a). 使用awk得到某类错误(status=500)包含request的中间结果。注意request和status之间使用空格连接
b). 针对中间结果再次使用空格进行拆分,获取request中的URL
当内容默认使用空格或tab来分隔数据项时,使用awk拆分时,不需要使用-F来执行分隔符。
如下面命令中的 awk '{print $2}' 没有使用-F指定分隔符。
c). 排序、去除重复项
使用sort对结果进行默认排序
使用uniq -c去除重复项并给出计数结果
d). 根据图上结果,发现重复的URL会被自动计数,但是计数的结果顺序是随机的。我们需要再次针对结果进行排序,使用sort 中的 -k指定列,并指明要求是按照数字的倒叙
去除重复项后,希望对结果进行倒叙
-k指明使用哪一列进行排序,-k1:表示使用第一列进行排序
n指明排序列为数字
r代表使用倒叙
所以-k1nr 代表:要进行排序的第一列请作为数字看待,并且结果要进行倒叙
注意:在去重前,最好先使用sort对结果进行排序,然后才能顺利合并。
需求三:要统计URL中文件名出现的次数,结果中要包含Code 和 Referer。但是 URL和 Referer中都包含 / 字符,对于过滤有干扰,尝试去解决。
思路:
1). 先拆分获取必要数据
2). 想办法将URL中文件名之前的部分去除
3). 然后再排序等
a). 查看原始文件内容
使用cat命令查看原始文件内容。
b). 获取必要信息
由于是\t分隔各个数据项,所以符合默认拆分,不需要-F指明分隔符
c).将URL中文件名之前的部分剔除,但保留referer中的"/"。
这部分重点:使用了sed命令对URL进行过滤,只保留URL中的文件名部分,其余部分不再要。
本sed命令只对第一列数据进行应用过滤操作。
#.*/\(.* \)#\1#解释:
整个内容被#分成两部分
第一部分(两个#号中间的内容).*/\(.* \),用来匹配URL中的两部分内容
比如URL为:/koubei/2012/11/19/60/abc.jpg (注意最后有一个空格)
.*/用来匹配:"/koubei/2012/11/19/60/"
\(.* \)用来匹配:"abc.jpg "
第二部分
\1,用来匹配第一部分中()中的内容,即 "文件名.扩展名 "
整个命令的含义是:
将URL替换成文件名
即将 "/koubei/2012/11/19/60/abc.jpg "替换成"abc.jpg "d). 执行排序
注意这里要对第一列先进行排序,否则会影响去重。
e).去重
f).倒叙出结果