scrapy:最大并发数过大的话会打不开网页链接,应控制在100以内

CONCURRENT_REQUESTS_PER_IP =100
CONCURRENT_REQUESTS =100

你可能感兴趣的:(scrapy)