PYTHON网络爬虫SCRAPY

文章目录

  • Scrapy爬虫框架介绍
  • Scrapy爬虫框架解析
  • requests库和Scrapy爬虫的比较
  • Scrapy的常见命令
  • 单元小结
  • Scrapy爬虫的第一个示例

Scrapy爬虫框架介绍

conda安装
Scrapy是一个爬虫框架
Scrapy爬虫框架结构

  • 爬虫框架
    • 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合
    • 爬虫 框架是一个半成品 ,能够帮助用户实现专业网络爬虫
    • 5+2结构: ENGINE + SPIDERS + SCHEDULER + THEM PIPELINES + DOWNLOADER +
      PYTHON网络爬虫SCRAPY_第1张图片

PYTHON网络爬虫SCRAPY_第2张图片
PYTHON网络爬虫SCRAPY_第3张图片
PYTHON网络爬虫SCRAPY_第4张图片

PYTHON网络爬虫SCRAPY_第5张图片

Scrapy爬虫框架解析

PYTHON网络爬虫SCRAPY_第6张图片

Scrapy 爬虫框架结构
Downloader Middleware
目的:
PYTHON网络爬虫SCRAPY_第7张图片

PYTHON网络爬虫SCRAPY_第8张图片

PYTHON网络爬虫SCRAPY_第9张图片
PYTHON网络爬虫SCRAPY_第10张图片

requests库和Scrapy爬虫的比较

PYTHON网络爬虫SCRAPY_第11张图片
PYTHON网络爬虫SCRAPY_第12张图片
PYTHON网络爬虫SCRAPY_第13张图片

Scrapy的常见命令

PYTHON网络爬虫SCRAPY_第14张图片
PYTHON网络爬虫SCRAPY_第15张图片
PYTHON网络爬虫SCRAPY_第16张图片

PYTHON网络爬虫SCRAPY_第17张图片

单元小结

Scrapy爬虫的第一个示例

PYTHON网络爬虫SCRAPY_第18张图片

你可能感兴趣的:(PYTHON,爬虫)