使用 Nginx 过滤网络爬虫

方法一：通过 User-Agent 过滤

location / {
    if ($http_user_agent ~* "scrapy|python|curl|java|wget|httpclient|okhttp") {
        return 503;
    }
}

变量$http_user_agent是一个可以直接在location中引用的Nginx变量。~*表示不区分大小写的正则匹配，通过python就可以过滤掉80%的Python爬虫。

方法二：屏蔽ip

1.查找要屏蔽的ip

awk '{print $1}' access.log |sort |uniq -c|sort -n > iptotal.log

2. 在nginx的安装目录下面,新建屏蔽ip文件，命名为blockip.conf，以后新增加屏蔽ip只需编辑这个文件即可。 加入如下内容

屏蔽ip的配置文件既可以屏蔽单个ip，也可以屏蔽ip段，或者只允许某个ip或者某个ip段访问。

# 屏蔽单个ip访问
deny IP;

# 允许单个ip访问
allow IP;

# 屏蔽所有ip访问
deny all;

# 允许所有ip访问
allow all;

#屏蔽整个段即从123.0.0.1到123.255.255.254访问的命令
deny 123.0.0.0/8

#屏蔽IP段即从123.45.0.1到123.45.255.254访问的命令
deny 124.45.0.0/16

#屏蔽IP段即从123.45.6.1到123.45.6.254访问的命令
deny 123.45.6.0/24
如果你想实现这样的应用，除了几个IP外，其他全部拒绝，
那需要你在blockip.conf中这样写

3.在nginx的配置文件nginx.conf中加入如下配置，可以放到http, server, location, limit_except语句块，需要注意相对路径，本例当中nginx.conf，blocksip.conf在同一个目录中。

include blockip.conf; 
单独网站屏蔽IP的方法，把include blocksip.conf; 放到网址对应的在server{}语句块，
所有网站屏蔽IP的方法，把include blocksip.conf; 放到http {}语句块。

方法三：rate limit

通过限制某个 IP 的访问频率，避免一部分 CC （Challenge Collapsar）攻击。

http{ 
    #定义一个名为allips的limit_req_zone用来存储session，大小是10M内存，
    #以$binary_remote_addr 为key,限制平均每秒的请求为20个，
    #1M能存储16000个状态，rete的值必须为整数，
    #如果限制两秒钟一个请求，可以设置成30r/m
    limit_req_zone $binary_remote_addr zone=allips:10m rate=20r/s;
    ...
    server{
        ...
        location {
            ...
            #限制每ip每秒不超过20个请求，漏桶数burst为5
            #brust的意思就是，如果第1秒、2,3,4秒请求为19个，
            #第5秒的请求为25个是被允许的。
            #但是如果你第1秒就25个请求，第2秒超过20的请求返回503错误。
            #nodelay，如果不设置该选项，严格使用平均速率限制请求数，
            #第1秒25个请求时，5个请求放到第2秒执行，
            #设置nodelay，25个请求将在第1秒执行。
 
            limit_req zone=allips burst=5 nodelay;
            ...
        }
        ...
    }
    ...
}