Scrapy设置之Using proxies and crawlers

Unix系统中,Scrapy的HttpProxyMiddleware中间件可以根据环境变量http_proxyhttps_proxyno_proxy来设置爬虫的代理。也可以在每个请求的meta属性中的proxy键来设置该请求的代理,比如http://some_proxy_server:port

你可能感兴趣的:(Scrapy设置之Using proxies and crawlers)