爬虫框架scrapy 1个piplines 对应多个spider,并且分别处理

def process_item(self, item, spider):

        if re.search(r'***',item['lineContent'].encode('utf8')):

            raise DropItem("no need in %s" % item['lineContent'])

        else:

            if spider.name=='**':

                query = self.dbpool.runInteraction(self._conditional_insert, item)  

                #query.addErrback(self.handle_error)  

                return item

            elif spider.name=='***':

                query = self.dbpool.runInteraction(self._conditional_insert2, item)  

                #query.addErrback(self.handle_error)  

                return item


你可能感兴趣的:(spider,爬虫框架,分别处理)