scrapy:如何爬取属性在不同页面的item呢?

官方链接地址:

https://scrapy-chs.readthedocs.org/zh_CN/0.24/topics/request-response.html#topics-request-response-ref-request-callback-arguments


其他参考链接:

http://www.sharejs.com/codes/python/6398  scrapy 在不同的抓取级别的Request之间传递参数的办法


我的一段代码:

yield scrapy.Request(url=new_link,meta={'item': item},callback=self.read_number_extractor)

def read_number_extractor(self,response):
            item = response.meta['item']
            #data = re.sub(r'true|false',lambda m: '"' + m.group(0) + '"',response.body)
            data = re.sub(r'false','\"false\"',re.sub(r'true','\"true\"',response.body))
            data = eval(data)['appmsgstat']
            item['url'] = response.url
            item['read_num'] = data['read_num']
            item['like_num'] = data['like_num']
            a=copy.deepcopy(item)
            self.maininfo_list.append(a)
            print a
            print a['title']
#            return item


你可能感兴趣的:(scrapy:如何爬取属性在不同页面的item呢?)