Scrapy爬虫（一）——你的第一个Scrapy爬虫

Scrapy简介

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy架构

• 引擎(Scrapy Engine)，用来处理整个系统的数据流处理，触发事务。
• 调度器(Scheduler)，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。
• 下载器(Downloader)，用于下载网页内容，并将网页内容返回给蜘蛛。
• 蜘蛛(Spiders)，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
• 项目管道(Item Pipeline)，负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
• 下载器中间件(Downloader Middlewares)，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
• 蜘蛛中间件(Spider Middlewares)，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
• 调度中间件(Scheduler Middlewares)，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy的安装

在Ubuntu系统的终端中输入

pip install scrapy

开始第一个Scrapy爬虫

进入要创建Scrapy项目的目录，然后在终端输入

scrapy startproject learnScrapy

用PyCharm打开这个项目

创建第一个Spider

在Spider文件夹新建一个quote_spider.py
自定义一个类继承scrapy.Spider的类
然后必须要定义两个属性一个方法

• name（Spider的名字）：用于启动Spider
• start_urls：需要抓取的起始Url
• parse（）方法：用于解析网页源代码

class QuotesSpider(scrapy.Spider):
    name="quotes"
    start_urls =[
        'http://blog.csdn.net/nonamest/article/details/75206787'
    ]

    def parse(self, response):
        with open("/home/hadoop/Desktop/1.html","wb") as f
        f.write(response.body)

如此，第一个最简单的Scrapy爬虫便做好了，它可以爬取一篇博客的源代码
一般来说scrapy要在命令行中启动，今天介绍一个在PyCharm中启动的办法，新建一个main.py

from scrapy import cmdline

cmdline.execute("scrapy crawl quotes".split())

从PyCharm中启动main文件就可以启动这个爬虫了

解析网页

更多时候我们希望获取的不是网页源代码，而是网页中的某些元素。在之前Python的原生爬虫中，我们采用的是BeautifulSoup来进行网页解析。但在Scrapy中有着更为简单的方法。

• css （教程链接）http://www.w3school.com.cn/css/index.asp
• Xpath（教程链接）http://www.w3school.com.cn/xpath/index.asp

在这里主要用Xpath来进行解析网页，Scrapy框架中的parse（）方法中的response对象是有一个xpath（）方法的，这为我们使用xpath解析网页带来了便利。

In [1]: response.xpath('//title')
Out[1]: ['//title' data=u''

其中xpath（）方法获得的是一个对象，如果要获得具体选取的元素要使用extract（）方法
加入解析后的spider代码如下

class QuotesSpider(scrapy.Spider):
    name="quotes"
    start_urls =[
        'http://blog.csdn.net/nonamest/article/details/75206787'
    ]

    def parse(self, response):
        title=''.join(response.xpath("//span[@class='link_title']/a/text()").extract())
        with open("/home/lhn/Desktop/1.html","w") as f:
            f.write(title)

打开桌面1.html

        基于Hadoop平台下运用PMI指标的组合词判断        

成功获取到标题

• 我推荐使用Chrome浏览器，这个浏览器的Inspect element的搜索功能可以使用Xpath语法查找，这样可以更加方便地进行调试。