scrapy Request

1.概念

1.构造请求，scrapy.Request(url,callback)
callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析
2.把请求交给引擎：yield scrapy.Request(url,callback)

API

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

1.中括号里的参数为可选参数
2.callback：表示当前的url的响应交给哪个函数去处理，callback=self.parse一般都是交给自身的parse函数处理
3.meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等
4.dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动
5.method：指定POST或GET请求
6.headers：接收一个字典，其中不包括cookies
7.cookies：接收一个字典，专门放置cookies
8.body：接收json字符串，为POST的数据，发送payload_post请求时使用（在下一章节中会介绍post请求）

meta

meta的作用：meta可以实现数据在不同的解析函数中的传递
meta参数是一个字典
meta字典中有一个固定的键proxy，表示代理ip，

在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数：

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={
     "item":item})
...

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

其他

1. 可以在settings中设置ROBOTS协议

# False表示忽略网站的robots.txt协议，默认为True
ROBOTSTXT_OBEY = False

2. 可以在settings中设置User-Agent：

# scrapy发送的每一个请求的默认UA都是设置的这个User-Agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'