Scrapy 基础框架创建项目------初步

一.Scrapy

• Scrapy是用纯python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.

1.Scrapy架构图

• scrapy engine(引擎)-----负责 spider ,schedualer , downloader , itempipeline中间的通讯,信号,数据传递等
• scheduler(调度器) -----它负责接收引擎发送过来的requests请求,并按照一定的方式进行整理排列,入列,当引擎需要时,交还给引擎.
• downloader(下载器) -----负责下载scrapy engine(引擎)发送所有的requests请求,并将其获取到的responses交还给scrapy engine (引擎) ,由引擎交给spider来处理
• spider(爬虫) -----它负责处理所有的responses ,从中分析提取数据,获取item字段需要的数据,并将需要跟进的url提交给引擎,再次进入scheduler(调度器).
• downloadler middlewares(下载中间件) ----你可以当做是一个自定义下载扩展下载功能的组件
• spidermiddlewares(spider中间件) ----- 一个自定义扩展和操作引擎和spider中间通信的功能组件

注意: 只有当调度器中不存在任何requests时,整个程序才会停止
.

2.scrapy爬虫步骤

.

3.scrapy创建爬虫项目

• 安装scrapy pip install scrapy
• 创建项目 scrapy startproject baidu
• 在spider文件下 新建baidu.py
• cd 项目下, 启动爬虫 ,scrapy crawl baidu
  

三.案例

1.scrapy简单爬取百度首页

spider 项目下的bd.py文件

# -*- coding: utf-8 -*-
import scrapy

class BdSpider(scrapy.Spider):
    # name：爬虫的名字，运行scrapy项目是，必须使用此属性值
    name = 'bd'
    # allowed_domains：允许爬取的域名，一般来说，可以注释掉
    # allowed_domains = ['bd.com']

    # start_urls：开始爬取的URL，scrapy自动帮助我们下载，帮助我们请求，
    # 我们只需要告诉scrapy要爬取哪一个URL或者哪一些URL即可，scrapy会自动的从
    # start_urls中获取URL并请求
    start_urls = ['https://www.baidu.com/']

    # parse()方法：自动执行的，scrapy将从start_urls中下载好的response交给parse()处理
    def parse(self, response):
        # 保存页面
        with open('bd.html','w',encoding='utf-8') as fp:
            fp.write(response.text)
        pass