nginx 日志过滤网络爬虫

分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。

鉴于多数蜘蛛爬虫都是叫xx-bot或者xx-spider，下面的方法可以给爬虫单独写日志：

1 2 3 4 5

location / { if ($http_user_agent ~* "bot|spider" ) { access_log / var /log/nginx/spider.access.log; } }

或者干脆不写日志

1 2 3 4 5

location / { if ($http_user_agent ~* "bot|spider" ) { access_log off; } }