- 图书价格爬取分析
- 图书价格ajax获取:
https://p.3.cn/prices/mgets?skuIds=J_12508277
sku_id = book.xpath('.div/@data-sku')
price_url = 'https://p.3.cn/prices/mgets?skuIds=J_{}'.format()
# 解析价格
def parse_price(self, response):
item = response.meta.get('book')
# 1.获取 返回的 响应对象数据 ==body==bytes 二进制
data = response.body
# 2.将二进制的数据----string
data_str = data.decode()
# 3.将json格式的字符串 ---列表--字典
data_list = json.loads(data_str)
item['price'] = data_list[0]['p']
优化后的代码为:
# 解析价格
def parse_price(self, response):
item = response.meta['book']
item['price'] = json.loads(response.body.decode())[0]['p']
yield item
特别注意的是