Python爬虫入门——3.8 Scrapy爬虫项目文件介绍

本节我们就使用scrapy框架来编写爬虫程序。

声明:参考资料“ 从零开始学Python网络爬虫  ”作者:罗攀,蒋仟机械工业出版社ISBN:9787111579991

上节我们创建的scrapy项目如下图所示

Python爬虫入门——3.8 Scrapy爬虫项目文件介绍_第1张图片

 

 首先来介绍一下这里面的文件:

  1. 最顶层是douban的文件夹
  2. 第二层是与项目名同名的文件夹douban以及scrapy.cfg文件.。douban文件夹是包,因为里面含有__init__.py这个文件.scrapy.cfg为项目的配置文件
  3. 第三层是5个python文件以及一个spiders文件。spiders也是一个包。     
  • items.py的作用定义爬取的字段,其实就是你要爬取的内容的名称,例如价格price,名字name,地址address等
  • pipelines.py的作用是爬虫数据的清洗以及入库操作,就是说你爬取到的数据如何处理,是加减运算还是存储到csvsetting.py的作用是对一些爬虫项目的编写,如请求头的填写,设置pipelines.py 处理爬虫数据等                             

      4.第四层是spiders模块下面的2个python文件,DoubanTest.py为新建的文件,用于代码的编写  

 

 

你可能感兴趣的:(Python爬虫入门,Python爬虫)