小记——python requests 请求响应类型 转为 scrapy 请求响应类型

from scrapy.http import HtmlResponse
#url 与requests 请求时URL一致
#body 是requests 响应源码
response = HtmlResponse(url=url, body=body, encoding='utf-8')
# 按照scrapy 框架方式进行获取源码,解析页面等
res_body = response.body.decode(response.encoding)
urls = response.xpath('//a/@href').getall()
url = response.url

通过这种方式就可以将requests 响应内容嵌在scrapy 框架里用了

你可能感兴趣的:(Python,python)