一、概念

并发连接数

    客户端向服务器发起请求，并建立了TCP连接。每秒钟服务器链接的总TCP数量，就是并发连接数。

请求数

    请求数指的是客户端在建立完连接后，向http服务发出GET/POST/HEAD数据包。

    拓展：服务器返回了请求结果后有两种情况：


    • http数据包头包含Close字样，关闭本次TCP连接；

    • http数据包头包含Keep-Alive字样，本次连接不关闭，可继续通过该连接继续向http服务发 送请求，用于减少TCP并发连接数。

PV（page view）

    访问量,即页面浏览量或者点击量,用户每次对网站的访问均被记录1次。用户对同一页面的多次访问，访问量值累计

UV（unique visitor）

    独立访客量。将每个独立设备（以cookie为依据）视为一位访客，一天之内（00:00-24:00）的访客数量。一天之内相同cookie的访问只被计算1次。

独立IP

    00:00-24:00内相同IP地址只被计算一次

注：关于并发连接数、请求数、并发用户数的概念参考日志http://www.4wei.cn/archives/1002399


二、Nginx配置

版本

    nginx version: nginx/1.10.2

日志配置项

    access_log    /var/log/access.log   access;

日志格式

log_format access  '$remote_addr - $remote_user [$time_local] "$request" $request_body  '

                   '$upstream_addr $upstream_response_time $request_time '

                   '$status $body_bytes_sent "$http_referer" '

                   '"$http_user_agent" $http_x_forwarded_for ' ;



三、常用日志分析命令

1、总请求数

1
wc  -l access.log | awk  '{print $1}'

2、独立IP数

1
awk  '{print $1}'  access.log| sort  | uniq  | wc  -l

3、每秒客户端请求数 TOP5

1
awk   -F '[ []'  '{print $5}'  access.log| sort | uniq  -c| sort  -rn| head  -5

4、访问最频繁IP Top5

1
awk  '{print $1}'  access.log| sort  | uniq  -c |  sort  -rn | head  -5

5、访问最频繁的URL TOP5

1
awk  '{print $7}'  access.log| sort  | uniq  -c |  sort  -rn | head  -5

6、响应大于10秒的URL TOP5

1
awk  '{if ($12 > 10){print $7}}'  access.log| sort | uniq  -c| sort  -rn | head  -5

7、HTTP状态码(非200)统计 Top5

1
awk  '{if ($13 != 200){print $13}}'  access.log| sort | uniq  -c| sort  -rn| head  -5

8、分析请求数大于50000的源IP的行为

1
2
3
4
5
6
7
8
9
10
awk  '{print $1}'  access.log| sort  | uniq  -c | sort  -rn| awk  '{if ($1 > 50000){print $2}}'  > tmp.txt
for  i  in  $( cat  tmp.txt)
do
    echo  $i  >> analysis.txt
    echo  "访问行为统计"  >> analysis.txt
    grep  $i  access.log| awk  '{print $6}'  | sort  | uniq  -c |  sort  -rn | head  -5 >> analysis.txt
    echo  "访问接口统计"  >> analysis.txt
    grep  $i  access.log| awk  '{print $7}'  | sort  | uniq  -c |  sort  -rn | head  -5 >> analysis.txt
    echo  -e  "\n"   >>  /root/analysis/ $Ydate.txt
done

注：如果源IP来自代理服务器，应将第一条命令过滤地址改为$http_x_forwarded_for地址

1
awk  '{print $NF}'  access.log| sort  | uniq  -c | sort  -rn| awk  '{if ($1 > 50000){print $2}}'  > tmp.txt


四、延伸

    Nginx日志按日切割后可使用上述命令得出每日网站流量分析概况，然后可以写一个Python脚本读取后发送。也可以将数据导入MySQL然后使用Python绘制曲线。当然使用日志分析系统，如ELK，效果更佳。