scrapy 入门案例示范

1.初窥Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

基本步骤

选择一个网站
定义您想抓取的数据
编写提取数据的Spider
执行spider，获取数据
查看提取到的数据

环境准备

Python3.4

2. Scrapy安装

pip install Scrapy

3.安装

执行爬虫时可能遇到的错误：
No module named 'PIL'

pip install Pillow

---

爬虫原理

Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

image

绿线是数据流向，首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，Spider分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回Scheduler；另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。
组成部分介绍:

• Scrapy Engine：
  负责组件之间数据的流转，当某个动作发生时触发事件
• Scheduler：
  接收requests，并把他们入队，以便后续的调度
• Downloader：
  负责抓取网页，并传送给引擎，之后抓取结果将传给spider
• Spiders：
  用户编写的可定制化的部分，负责解析response，产生items和URL。每一个spider代表一个特定的任务
• Item Pipeline：
  负责处理item，典型的用途：清洗、验证、持久化
• Downloader middlewares：
  位于引擎和下载器之间的一个钩子，处理传送到下载器的requests和传送到引擎的response(若需要在Requests到达Downloader之前或者是responses到达spiders之前做一些预处理，可以使用该中间件来完成)
• Spider middlewares：
  位于引擎和抓取器之间的一个钩子，处理抓取器的输入和输出
  (在spiders产生的Items到达Item Pipeline之前做一些预处理或response到达spider之前做一些处理)
  一个小例子

创建项目
在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject book

---

创建项目

这些文件分别是:

scrapy.cfg: 项目的配置文件
book/: 该项目的python模块。之后您将在此加入代码。
book/items.py: 项目中的item文件.
book/pipelines.py: 项目中的pipelines文件.
book/settings.py: 项目的设置文件.
book/spiders/: 放置spider代码的目录.

建立spider

首先要进入book目录，使用basic模板创建一个spider
建立spider, scrapy genspider douban https://book.douban.com/top250?start=0

spider

pycharm 调试scrapy

• 建立一个main.py文件，在book文件目录下,保证main.py和自动生成的scrapy.cfg在同一层,写入下面代码。此文件是为了方便再pycharm中调试scrapy，提高开发效率
  from scrapy.cmdline import execute
  import sys,os
  sys.path.append(os.path.dirname(os.path.abspath(file)))
  execute(['scrapy','crawl','douban'])
  scrapy crawl douban即启动，名字为douban的spider
• 修改setting.py
  将setting.py中的遵循robot协议改为False，否则会过滤掉一些url
  .* 定义Item
  Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)。首先根据需要从book获取到的数据对item进行建模。 我们需要从book中获取名字，描述。 对此，在item中定义相应的字段。