2、scrapy发送post请求

若是访问的网址不在域名限制里面,会被过滤掉,两种处理方式:
第一种:
   把域名加到域名限制里面
第二种:
   域名限制里面什么都不写,表示都可以

发送post请求

scrapy.FormRequest(url=url,callback=处理函数,formdata=formdata)

注意:如果不重写start_request()方法,scrapy默认发送的是get方法,无论是什么请求,scrapy是先发get请求,如果想一上来就发post请求,需要重写start_request()方法

def start_request(self):
    post_url = '起始网址';

注意:将start_url起始url注释掉

你可能感兴趣的:(2、scrapy发送post请求)