1,创建和框架机构
(1)
先创建一个项目scrapy startproject projectname(项目名称)
(2)
---进入到spiders文件夹下创建爬虫文件
scrapy genspider (+) 爬虫文件名称 网站的域(http://后面的)
(3)
----使用pycharm打开项目设置虚拟环境
scrapy项目的架构
chinaz:项目文件夹
spiders:爬虫文件(存放所有的爬虫文件)
zzw.py:(爬虫文件,解析Response响应,提取目标数据和url)
items.py:编写要爬取的字段
middlewares.py:中间键 (爬虫中间键和下载中间键)
pipelines.py:数据管道(载这里做数据读持久化)
settings.py:设置文件(设置请求头,设置下载延时,设置是否遵守robot协议,以及激活管道文件...)
scrapy.cfg:配置文件(我们部署项目的时候用到)
2,settings配置
进入settings.py进行配置(UA请求头,下载延时,是否遵循robot协议,设置文件,数据库的相关配置,管道的激活)
3,爬虫文件和item字段设置
定义爬虫文件:写入爬取方法需要
(1)写爬虫文件名字,域,url
(2)在item中定义要接收的函数用来接收要爬取的字段,例:图片infoImg=scrapy.Field()
在类里面写入自己最终要用的集合名称方法(用来区分最终的获取数据分类)
(3)在自己定义的爬取虫文件中,发起请求获取到的是selector对象放到列表里,---循环列表取出自己要的最终内容,运用xpath取----最后面用.extract_first('')来取值,取出的是文本格式,非列表
(4)将取到的值 yield + 自己在item中定义的类方法,(这里的yield就是将此处item数据交给管道)
4,管道
(1)将item传来的数据进行数据持久化和过滤
(2)若要储存到数据库--------pymysql数据库,init中定义链接,创游标
-----这里进行数据库的连接和定义,(最开始在settings.py文件中定义的数据库信息在这里就可以用到),例:
def from_crawler(cls,crawler):
host = crawler.settings['MYSQL_HOST'] #这是获取settings中设置的host,这样写方便更改和代码优化,cls作用是传值到init中(自动执行int方法)return cls(host)
(3)定义close_spider方法,这个方法是代码结束自动执行,用来关闭游标和数据库连接
代码执行时候要进入到项目里面的spider目录下输出:scrapy crawl zzw (zzw是自己在自写的爬虫文件中设置的name值,即自己写的爬虫名字)执行代码
五大模块
中间的是引擎： 引擎负责各个模块之间的通信与调度
引擎的下面是 spiders 爬虫文件
引擎的上面是调度器
引擎的左面是数据管道
引擎的右面是下载器
引擎和下载器中间是 下载中间件
引擎和爬虫中间是 爬虫中间件
具体的运行流程：
spiders 爬虫文件里面有一个start_url的参数，里面放的就是我们要爬取的目标url ,
把要爬取的url 构建一个request 请求，经过爬虫中间件给引擎，经过引擎给调度器，把任务存放在任务队列里面，
如果要获取数据的时候，从调度器里面拿数据给引擎，
引擎拿到请求之后，经过下载中间件给下载器 (request 请求)，把request 给我们的下载器，
下载器根据引擎发过来的任务，向对方服务器发起请求拿到一个response 响应，
最终把响应通过下载中间件，经过引擎，经过爬虫中间件，最终给spiders 爬虫文件(最终把response响应给爬虫文件),
爬虫文件拿到响应之后在爬虫文件里面做两件事 （1.解析响应，提取目标数据，2.提取新的url），
爬虫文件拿到item 数据给管道（item 数据），管道拿到数据之后做数据的过滤和持久化。