scrapy框架将数据写入txt出现数据丢失

分析:

获取网页中的数据可以成功爬取,但是在写入txt操作的时候部分数据丢失。可能原因是scrapy框架是异步爬取数据,所以写入数据的时候不能完全写入完整的数据。

解决方法:
一、代码
  • pipelines.py
# 开启爬虫前调用
def open_spider(self, spider):
    self.file = open(r'novels/dhzmg.txt', 'w', encoding='utf-8')

# parse()返回值时调用,一般在这里写入数据
def process_item(self, item, spider):
    try:
        res = dict(item)
        title = res['title']
        line = res['data']
        self.file.write(title+'\n'+line+'\n\n')
   except:
        pass

# 关闭爬虫后调用,此处用于关闭文件连接
def close_spider(self, spider):
    self.file.close()

说明:
- open_spider(): 开启爬虫前调用,可用于创建连接对象;
- close_spider():关闭爬虫后调用,可以用于关闭文件连接;
- process_item():此函数用于写入数据操作,在parse()返回值的时候自动调用。

二、配置

使用pipeline.py文件中的方法时,需要在setting.py更改设置。

  • setting.py
ITEM_PIPELINES = {
   'myscrapy.pipelines.MyscrapyPipeline': 300,
}

找到这个配置,取消前面的注释即可。

你可能感兴趣的:(爬虫,scrapy,异步写入数据)