网站数据分析案例

apache日志格式分析

理解ip、pv、uv的概念

PV（Page View）访问量, 即页面浏览量或点击量，衡量网站用户访问的网页数量；在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开或刷新同一页面则浏览量累计。

UV（Unique Visitor）独立访客，统计1天内访问某站点的用户数(以cookie为依据);**访问网站的一台电脑客户端为一个访客。**可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的。如果用户不保存cookies访问、清除了cookies或者更换设备访问，计数会加1。00:00-24:00内相同的客户端多次访问只计为1个访客。

IP（Internet Protocol）独立IP数，是指1天内多少个独立的IP浏览了页面，即统计不同的IP浏览用户数量。同一IP不管访问了几个页面，独立IP数均为1；不同的IP浏览页面，计数会加1。 IP是基于用户广域网IP地址来区分不同的访问者的，所以，多个用户（多个局域网IP）在同一个路由器（同一个广域网IP）内上网，可能被记录为一个独立IP访问者。如果用户不断更换IP，则有可能被多次统计。

网站安全监控

1.查看进程数:

ps aux | grep httpd | grep -v grep | wc -l
ps -ef|grep httpd|grep -v grep|wc -l

#或
pgrep httpd|wc -l

2.访问次数最多的10个ip

awk ‘{print $1}’ nginx_access.log |sort|uniq -c|sort -nr|head -10

#或
awk ‘{counts[$1]+=1}; END {for(url in counts) print counts[url], url}’ nginx_access.log |sort -nr|head -10

3.访问量最大的十个时间段

awk ‘{print $4}’ nginx_access.log|cut -c 14-18|sort|uniq -c|sort -nr|head -10

4.查看日志中出现100次以上的IP

awk '{print $1}' nginx_access.log |sort|uniq -c|sort -nr|awk '$1>100{print $0}'

5.查看最近访问量最高的页面

awk '{print $7}' nginx_access.log |sort|uniq -c|sort -nr|head -10

6.查看最近访问量最高的(.png)页面

cat $log |awk '{print $7}'|grep '.png'|sort|uniq -c|sort -nr |head -n 10

7.查看18/Oct/2019一天的点击量(clicks)

awk '$4~/18/Oct/2019/' nginx_access.log |wc -l8

8.查看18/Oct/2019一天访问网站的独立IP有哪些

awk ‘{print $1}’ nginx_access.log |sort|uniq -c|sort -nr

9.统计日志中一天的PV量

awk ‘{print $0}’ nginx_access.log |wc -l