Scrapy 基础框架创建项目------初步

一.Scrapy

  • Scrapy是用python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.

1.Scrapy架构图

Scrapy 基础框架创建项目------初步_第1张图片

  • scrapy engine(引擎)-----负责 spider ,schedualer , downloader , itempipeline中间的通讯,信号,数据传递等
  • scheduler(调度器) -----它负责接收引擎发送过来的requests请求,并按照一定的方式进行整理排列,入列,当引擎需要时,交还给引擎.
  • downloader(下载器) -----负责下载scrapy engine(引擎)发送所有的requests请求,并将其获取到的responses交还给scrapy engine (引擎) ,由引擎交给spider来处理
  • spider(爬虫) -----它负责处理所有的responses ,从中分析提取数据,获取item字段需要的数据,并将需要跟进的url提交给引擎,再次进入scheduler(调度器).
  • downloadler middlewares(下载中间件) ----你可以当做是一个自定义下载扩展下载功能的组件
  • spidermiddlewares(spider中间件) ----- 一个自定义扩展和操作引擎和spider中间通信的功能组件

注意: 只有当调度器中不存在任何requests时,整个程序才会停止
.

2.scrapy爬虫步骤

Scrapy 基础框架创建项目------初步_第2张图片

.

3.scrapy创建爬虫项目

  • 安装scrapy pip install scrapy
  • 创建项目 scrapy startproject baidu
  • 在spider文件下 新建baidu.py
  • cd 项目下, 启动爬虫 ,scrapy crawl baidu
    Scrapy 基础框架创建项目------初步_第3张图片

三.案例

1.scrapy简单爬取百度首页

spider 项目下的bd.py文件


# -*- coding: utf-8 -*-
import scrapy

class BdSpider(scrapy.Spider):
    # name:爬虫的名字,运行scrapy项目是,必须使用此属性值
    name = 'bd'
    # allowed_domains:允许爬取的域名,一般来说,可以注释掉
    # allowed_domains = ['bd.com']

    # start_urls:开始爬取的URL,scrapy自动帮助我们下载,帮助我们请求,
    # 我们只需要告诉scrapy要爬取哪一个URL或者哪一些URL即可,scrapy会自动的从
    # start_urls中获取URL并请求
    start_urls = ['https://www.baidu.com/']

    # parse()方法:自动执行的,scrapy将从start_urls中下载好的response交给parse()处理
    def parse(self, response):
        # 保存页面
        with open('bd.html','w',encoding='utf-8') as fp:
            fp.write(response.text)
        pass
        

你可能感兴趣的:(爬虫,热门,python,python,中间件,爬虫,os,internet)