Scrapy项目的目录结构

1-items的编写

Item对象可以保存爬取到的数据，相当于存储爬取到的数据的容器。

对于爬取到的的数据，需要提取出我们关注的结构化的信息，以便于对数据的管理。

2-pipelines的编写

主要用于接收提取出来的项目(item)，接收后，会对这些item进行处理

常见的处理方式主要有：清洗、验证、导出到外部文件、存储到数据库等。

3-settings的编写

settings文件为爬虫项目的设置文件，主要是爬虫项目的一些设置信息。

例如，启用了pipelines，需要把settings中相关代码的注释取消

主要修改点:(为了反爬)

3-1-pipelines

3-2-Robots协议

爬虫协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

注释掉，ROBOTSTXT_OBEY = True

3-3-Cookies

某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据

去掉注释，COOKIES_ENABLED = False

3-4-设置下载延时

取消注释并修改值，DOWNLOAD_DELAY = 3

4-spider的编写

定义爬取的动作及分析某个网页(或者是有些网页)的地方。

例如，写Xpath语句或者正则表达式，及爬取多页数据等