scrapy 中 Request 的 url 补全

scrapy 中 Request 的 url 补全

如果是片段url

在python3中

from urllib import parse

在python2中

import urlparse

response.url

Request(url=parse.urljoin(response.url, post_url), callback=self.parse_detail)

只是初始化，如何交给scrapy 下载？使用yield。

yield Request(url=parse.urljoin(response.url, post_url), callback=self.parse_detail)

当需要用到两个class来定位一个节点时，

比如

下一页 »

这个时候，就是把.next和.page-numbers连在一起写。

next_url = response.css(".next.page-numbers::attr(href) ").extract_first()