scrapy关于请求带有时间戳链接会失效问题

可以在middleware的process_request方法中修改请求的url

def process_request(self, request, spider):
    request._set_url(request.url + '&msg=%s' % int(round(time.time() * 1000)))

同理也可以在process_response中修改或直接修改响应内容

你可能感兴趣的:(scrapy)