网络爬虫入门 (五) 初识scrapy框架

一、简介

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

二、Scrapy结构

1. 主要组件

scrapy引擎(Scrapy)
用来处理整个系统的数据流,触发事务
调度器(Scheduler)
用来接收引擎发来的请求,可以理解为一个url队列,每次爬取网页从它这里获取url
下载器(Downloader)
用于下载网页,交给Spider(Scrapy下载器是建立在twisted 这个高效的异步模型上的)
爬虫(Spider)
Spider是用来从网页中提取所需要的信息,交给Pipeline处理(持久化)。同时Spider也可以提取出链接，让Scrapy继续抓取下一个页面
项目管道(Pipeline)
从Spider获取到所需要的信息,进行进一步过滤、持久化
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

2.基本流程

① 引擎从调度器中取出一个链接(URL)用于接下来的抓取
②引擎把URL封装成一个请求(Request)传给下载器
③下载器把资源下载下来，并封装成应答包(Response)
④爬虫解析Response
⑤解析出实体（Item）,则交给实体管道进行进一步的处理
⑥解析出的是链接（URL）,则把URL交给调度器等待抓

三、创建项目

使用anaconda安装:conda install scrapy
安装过程可能会比较慢,需耐心等待
在控制台输入指令scrapy startproject demoScrapy
即可在当前目录下创建Scrapy工程

工程目录

四、实战:爬取伯乐在线IT标签的所有文章的信息

1、分析
网址:http://blog.jobbole.com/category/it-tech/
2、在items文件的类中创建所需字段

    thumb_url = scrapy.Field()
    date = scrapy.Field()
    title = scrapy.Field()
    tag = scrapy.Field()
    summary = scrapy.Field()
    detail_url = scrapy.Field()

3、在spiders文件夹中创建一个scrapy.Spider的子类,并重写其中的name、start_urls、parse()

name = "list_spider"
start_urls = ["http://blog.jobbole.com/all-posts/"]
    def parse(self, response):
        result = dict()
        print("++++++"*50)
        container = response.xpath("//div[@class='post floated-thumb']")
        curr_page = int(response.xpath("//span[@class='page-numbers current']/text()").extract_first())
        # print(type(container))
        list_index = 1
        for item in container:
            # print(item)
            result["thumb_url"] = item.xpath("./div[@class='post-thumb']//img/@src").extract_first()
            content_container = item.xpath(".//div[@class='post-meta']")
            result["date"] = ""
            date_b = content_container.xpath("./p/text()").extract()
            match = re.findall("(\d{4}/\d{2}/\d{2})", str(date_b))
            if len(match):
                result["date"] = match[0]
            result["title"] = content_container.xpath("./p/a[@class='archive-title']/text()").extract_first()
            result["tag"] = content_container.xpath("./p/a[@rel]/text()").extract_first()
            result["summary"] = content_container.xpath("./span[@class='excerpt']/p/text()").extract_first()
            result["detail_url"] = content_container.xpath(".//span[@class='read-more']/a/@href").extract_first()
            result["curr_index"] = (curr_page-1) * 20 + list_index
            yield result
            list_index += 1
        next_page = response.xpath("//a[@class='next page-numbers']/@href").extract_first()
        if next_page:
            yield scrapy.Request(url=next_page, callback=self.parse)

提取标签信息用的是xpath,可以参考http://www.w3school.com.cn/xpath/index.asp
4、这时候所有数据都已经爬取到了，scrapy会将爬取到的数据输出到控制台