爬虫 - scrapy 框架 - 基本介绍、项目启动

目录

一、基础介绍

1-1 基本结构

1-2 基本流程

二、安装方式

2-1 基于windows下的安装

2-1-0 安装流程

2-1-0 pywin32安装

2-1-1 基于twisted的wheel文件安装流程

2-2 安装成功显示

三、项目启动

3-1 startproject 项目名

3-2 项目目录结构

3-3 配置使用pycharm执行爬虫文件

3-3-0 在pycharm终端运行爬虫文件

四、scrapy的cmd命令总结

4-0 命令行总结

4-1-0 查看帮助

4-1-1 两种命令方式

五、基于cmd的简单爬虫测试

5-1 Global commands 命令测试

5-2 Project-only commands 命令测试

---

一、基础介绍

菜鸟教程 - 学习网站

scrapy 官方文档

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

    Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下

1-1 基本结构

• Scrapy Engine(引擎): 负责控制所有组件之间的中间的通讯，信号、数据传递等，并在某些动作发生时触发事件。（组件：Spider、ItemPipeline、Downloader、Scheduler）
• Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
• Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
• Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).或者发送新的请求
• Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response
  • 你可用该中间件做以下几件事
    • process a request just before it is sent to the Downloader (i.e. right before Scrapy sends the request to the website); 在发送到下载程序之前处理请求(即在Scrapy将请求发送到网站之前);
    • change received response before passing it to a spider; 更改在将其传递给爬行器之前接收到响应;
    • send a new Request instead of passing received response to a spider; 发送一个新请求，而不是将接收到的响应传递给爬行器;
    • pass response to a spider without fetching a web page; 将响应传递给爬行器而不获取web页面;
    • silently drop some requests. 悄悄地删除一些请求。
• Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

1-2 基本流程

1.引擎从spider获取初始爬行请求。

2.引擎在调度程序中调度请求，并请求下一个要爬行的请求。

3.调度程序将下一个请求返回到引擎。

4.引擎将请求发送到下载器，并通过下载器中间件（请参见process_request（））。

5.一旦页面完成下载，下载器将生成响应（使用该页面），并将其发送到引擎，并通过下载器中间软件（请参见process_response（））。

6.引擎接收下载器的响应并将其发送给spider进行处理，并通过spider中间件进行处理（请参见process_spider_input（））。

7.spider处理响应，并通过spider中间件（请参见process_spider_output（））向引擎返回刮掉的项目和新请求（后续）。

8.引擎将已处理的项目发送到项目管道，然后将已处理的请求发送到计划程序，并请求可能的下一个请求进行爬网。

9.该过程重复（从步骤1开始），直到调度程序不再发出请求。

二、安装方式

2-1 基于windows下的安装

！！！注意！！！：尽量安装在python3真实环境下，虚拟环境下操作会导致无法在终端直接使用scrapy

pycharm - 项目的虚拟环境配置

2-1-0 安装流程

1. pip3 install wheel - 安装后，便支持通过wheel文件安装软件，wheel文件官网
2. pip3 install lxml
3. pip3 install pyopenssl
4. 下载并安装 pywin32：https://github.com/mhammond/pywin32/releases
5. 下载 twisted 的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
6. 执行pip3 install 下载目录\Twisted-18.9.0-cp36-cp36m-win_amd64.whl
7. 安装 scrapy - pip3 install scrapy

2-1-0 pywin32安装

2-1-1 基于twisted的wheel文件安装流程

Twisted模块直接安装，肯定是会报错的

在这个辅助库网站（下载whell文件地址）中搜索Twisted模块，然后根据python版本下载版本对应版本

python 3.6.2  选择下载 Twisted-17.9.0-cp36-cp36m-win_amd64.whl

下载另存为指定目录下，pip3 install 指定绝对路径\Twisted17.9.0cp36cp36mwin32.whl

2-2 安装成功显示

三、项目启动

3-1 startproject 项目名

3-2 项目目录结构

 

• 项目文件夹（默认生产）
  • scrapy.cfg - 项目主配置信息，用来部署scrapy；爬虫相关配置信息位于settings.py文件
  • 项目核心目录
    • spiders - 爬虫目录，编写爬虫规则文件
      • 注意：一般创建爬虫文件时，使用网站域名命名
    • items.py - 数据存储模板，用于结构化数据 - 类同于Django框架的Model
    • middlewares.py - 中间件文件
    • pipelines.py - 数据处理行为，如：一般结构化的数据持久化
    • settings.py - 爬虫相关的配置文件，如：递归层数、并发数、延迟下载等
      • 注意：配置文件的选项必须全部大写，否则视为无效

3-3 配置使用pycharm执行爬虫文件

3-3-0 在pycharm终端运行爬虫文件

crapy爬虫的运行需要到命令行下运行，在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行

默认是在项目目录下的，要运行项目，需要进入下一层目录，使用cd myscrapy  进入下一层目录

然后用scrapy crawl 爬虫名 ， 即可运行爬虫。

3-3-1 执行文件运行爬虫文件

注意：默认只能在cmd中执行爬虫

# pycharm执行爬虫配置：在项目目录下新建：entrypoint.py
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'baidu'])
# execute(['scrapy', 'crawl', '爬虫文件名'])

四、scrapy的cmd命令总结

scrapy官方文档查询

4-0 命令行总结

4-1-0 查看帮助

• scrapy -h
• scrapy -h

4-1-1 两种命令方式

注意：Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要

• Global commands
  • startproject # 创建项目
  • genspider # 创建爬虫程序
  • settings # 如果是在项目目录下，则得到的是该项目的配置
  • runspider # 运行一个独立的python文件，不必创建项目
  • shell # scrapy shell url地址 在交互式调试，如选择器规则正确与否
  • fetch # 独立于程单纯地爬取一个页面，可以拿到请求头
  • view # 下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
  • version # scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本
• Project-only commands
  • crawl # 运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False
  • check # 检测项目中有无语法错误
  • list # 列出项目中所包含的爬虫名
  • edit  # 编辑器，一般不用
  • parse # scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确
  • bench # scrapy bentch压力测试

五、基于cmd的简单爬虫测试

5-1 Global commands 命令测试

• 创建scrapy框架项目 -- ！注意！：请确保不在某个项目的目录下，排除受该项目配置的影响
  • scrapy startproject MyProject
• 进入项目目录，创建爬虫程序
  • cd MyProject
  • scrapy genspider baidu www.baidu.com
  • 
  • 
• 查看项目的配置
  • scrapy settings --get BOT_NAME # 如果切换到项目目录下，看到的则是该项目的配置
• 执行爬虫文件
  • scrapy runspider baidu.py
  • 
• 在交互模式下测试请求地址
  • scrapy shell https://www.baidu.com
    •  response
    •  response.status
    • response.body
    • view(response)
    • 
• view 下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
  • scrapy view https://www.taobao.com
  • 如果页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题
• fetch 独立于程单纯地爬取一个页面，可以拿到请求头 - nolog 不输出日志
  • scrapy fetch --nolog http://www.baidu.com
  • scrapy fetch --nolog --headers https://www.taobao.com  
• scrapy的版本查看
  • scrapy version
• 依赖库的版本查看
  • scrapy version -v

5-2 Project-only commands 命令测试

！！！注意：切到项目目录下

• scrapy crawl baidu - 运行名为baidu的爬虫文件
• scrapy check - 检测项目中是否存在语法错误
• scrapy list - 列出项目内所包含的爬虫名
• scrapy parse http://quotes.toscrape.com/ --callback parse - 验证回调函数是否正确
• scrapy bench - 压力测试