【爬虫】Scrapy 抓取网站数据

【原文链接】http://chenqx.github.io/2014/11/09/Scrapy-Tutorial-for-BBSSpider/

 

Scrapy Tutorial

　　接下来以爬取饮水思源BBS数据为例来讲述爬取过程，详见 bbsdmoz代码。
　　本篇教程中将带您完成下列任务：

1. 创建一个Scrapy项目
2. 定义提取的Item
3. 编写爬取网站的 spider 并提取 Item
4. 编写 Item Pipeline 来存储提取到的Item(即数据)

Creating a project

　　在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令：

scrapy startproject bbsdmoz

该命令将会创建包含下列内容的 bbsDmoz 目录，这些文件分别是：

• scrapy.cfg: 项目的配置文件
• bbsDmoz/: 该项目的python模块。之后您将在此加入代码。
• bbsDmoz/items.py: 项目中的item文件.
• bbsDmoz/pipelines.py: 项目中的pipelines文件.
• bbsDmoz/settings.py: 项目的设置文件.
• bbsDmoz/spiders/: 放置spider代码的目录.

Defining our Item

　　Item 是保存爬取到的数据的容器；其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
　　类似在ORM (Object Relational Mapping, 对象关系映射) 中做的一样，您可以通过创建一个 scrapy.Item 类，并且定义类型为 scrapy.Field 的类属性来定义一个Item。(如果不了解ORM,不用担心，您会发现这个步骤非常简单)
　　首先根据需要从bbs网站获取到的数据对item进行建模。 我们需要从中获取url，发帖板块，发帖人，以及帖子的内容。 对此，在item中定义相应的字段。编辑 bbsDmoz 目录中的 items.py 文件：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

from scrapy.item import Item, Field

class BbsItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    url = Field()
    forum = Field()
    poster = Field()
    content = Field()

　　一开始这看起来可能有点复杂，但是通过定义item， 您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。

Our first Spider

　　Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
　　其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

创建一个Spider

Selectors选择器

　　我们使用XPath来从页面的HTML源码中选择需要提取的数据。这里给出XPath表达式的例子及对应的含义:

• /html/head/title: 选择HTML文档中 标签内的