scrapy微博反爬虫_scrapy绕过反爬虫

这里还是用scrapy框架写的爬虫。

最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个：

1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问

2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接

3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到

下面实现一下每一个方案的应对方案：

1.针对用户行为

针对用户行为基本上就是对ip地址的访问统计，还有同一个用户多次相同的行为什么的，不过这里是为了爬取url，基本不会有后者的情况。

可以采用代理ip来解决，写一个爬虫爬取免费的代理网站，获取到一批免费代理，然后每次都随机选一个就好了。

下面是爬取代理的代码，注意频率不要太高，免费的代理网站也是有反爬虫的。

# -*- coding: utf-8 -*-

import scrapy

import time

from scrapy.selector import Selector

class Proxyspider(scrapy.Spider):

name = 'proxy'

allowed_domains = ['www.xicidaili.com']

start_urls = ['http://www.xicidaili.com/']

def start_requests(self):

burl = "http://www.xicidaili.com/nn/"

for i in range(1,5):

yield scrapy.Request(url=burl+str(i), callback=self.parse)

def parse(self, response):

se = scrapy.Selector(response)

cnt = 0

site = se.xpath('//tr')

for s in site:

content = s.xpath('.//td/text()').extract