1. 什么是Scrapy？
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 Scrapy用途广泛，可以用于数据爬取，挖掘、监测和自动化测试。
第一步：创建项目
在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:
scrapy startproject tutorial
此时会在对应的项目创建该新项目，此时项目会生成如下项目文件：
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
第二步：定义Item
Item是保存爬取到的数据的容器，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
首先根据需要从dmoz.org 获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py文件:
importscrapy
classDmozItem(scrapy.Item):
title=scrapy.Field()
link=scrapy.Field()
desc=scrapy.Field()
第三步：编写第一个爬虫(Spider)
Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
为了创建一个Spider，您必须继承scrapy.spider类， 且定义以下三个属性:
name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
start_url:包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
parse 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的request 对象。
以下为我们的第一个Spider代码，保存在tutorial/spiders目录下的dmoz_spider.py文件中:
importscrapy
classDmozSpider(scrapy.spiders.Spider):
name="dmoz"
allowed_domains=["dmoz.org"]
start_urls=["http://www.dmoz.org/Computers/Programming/Languages/Python/Books/","http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"]
defparse(self,response):
filename=response.url.split("/")[-2]
withopen(filename,'wb')as f:
f.write(response.body)
第四步：提取Item
推荐用XPath提取元素
这里给出XPath表达式的例子及对应的含义:
/html/head/title: 选择HTML文档中标签内的元素
/html/head/title/text(): 选择上面提到的元素的文字
//td: 选择所有的元素
//div[@class="mine"]: 选择所有具有class="mine"属性的div元素
为了配合XPath，Scrapy除了提供了selector之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。
Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
第五步：提取数据
您可以在终端中输入response.body来观察HTML源码并确定合适的XPath表达式。
在查看了网页的源码后，您会发现网站的信息是被包含在第二个
-
元素中。
我们可以通过这段代码选择该页面中网站列表里所有元素:
sel.xpath('//ul/li')
网站的描述:
sel.xpath('//ul/li/text()').extract()
网站的标题:
sel.xpath('//ul/li/a/text()').extract()
以及网站的链接:
sel.xpath('//ul/li/a/@href').extract()
每个.xpath()调用返回selector组成的list，因此我们可以拼接更多的.xpath()来进一步获取某个节点。我们将在下边使用这样的特性:
forselinresponse.xpath('//ul/li'):
title=sel.xpath('a/text()').extract()
link=sel.xpath('a/@href').extract()
desc=sel.xpath('text()').extract()
print title,link,desc
第六步：保存数据
保存爬取到的数据
最简单存储爬取的数据的方式是使用
scrapy crawl dmoz-o items.json
该命令将采用json格式对爬取的数据进行序列化，生成items.json文件。