网站维护必备解决方法及日志分析

日志分析命令

分析URL(504错误，大于500的错误可直接写成5..)
下面命令是发生504错误的url列表。

awk '$10 ~ /504/ { print $8}' xxx_com_access.log-${date} | awk -F "&" '{print $1,$2}' | sort  | uniq -c | sort -rn | head -10 

分析服务器响应时间(大于100ms)
下面命令是显示响应时间大于100ms的服务器列表。

awk '{if($NF>0.10) print $(NF-1)}' xxx_com_access.log | uniq -c | sort -n 

找出访问次数最多的几个分钟：

awk '{print $5}' xxxx_com_access.log |cut -c 14-18|sort|uniq -c|sort -nr|head

日志中ip地址访问最多的top15

awk '{ip[$2]++} ; END{ for (i in ip) print ip[i],i }' xxx_access.log-20130922  | sort -n | tail -n 15

可疑ip的分析

ip地址对应的客户端mac地址的统计：
awk '$2 ~ /219.148.23.36/ {print $2,$8}' xxxx_access.log-20130922  | grep mac= | awk -F "=" '{print $(NF-1)}' | grep -v mac | cut -c 1-17 | sort |uniq -c | sort �Cn
ip地址对应的user-agent的统计：
awk '$2 ~ /111.30.132.190/ {print $2,$5,$15,$16,$17,$18,$19,$20}' xxx_com_access.log-20130922  | more

另外还有：

当前访问量最大的ip:
tcpdump -i em1 -tnn dst port 80 -c 100000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr | head -n 15
找出这个ip正在干什么：
cd /data/logs/xxx ; tail -n 10000000 xxx_com_access.log | grep 123.150.205.205 | awk '{print $2"\t"$8}' | sort | uniq -c | sort �Cnr

未完待续。。。