2018-05-13

Scrapy爬虫

1.新建爬虫工程

scrapy startproject Spider(项目名字)


Spider目录表

2.创建爬虫模块

爬虫模块

在Spider文件夹中创建该代码。

3.网页解析

Scrapy有一套自己的数据提取机制(selector),通过特定的Xpath 或者css表达式来选择HTML文件中的成分。
Selector四种基本方法:

  • xpath(query):传入Xpath表达式query,返回表达式所对应的所有节点的selector list列表
    -css(query):传入CSS表达式,返回对应的列表
  • extract():序列化该节点为Unicode字符串并返回列表
  • re(regex):根据传入的正则表达式对数据进行提取,返回Unicode字符串列表。regex可以是一个已经编译好的正则表达式,也可以是一个将为regex编译为正则表达式的字符串。
    Xpath
    路径选择


    路径表达式

    谓语

    选取未知节点

    选取若干路径

    Xpath轴

    步的语法

    例子

    item.xpath(".//*[@class='title']/a/@href").extract()[0])返回系统自带的那个里面是一些你提取的内容中list的第一个元素
    带有 yield 的函数在 Python 中被称之为 generator(生成器)

4. Item

image.png

如果需要在原始item的基础上拓展item,则:class newSpiderItem(scrapy.Item)
xxx = scrapy.Field()

5. Item Pipeline(数据保存)

存储图片
定制图片管道的形式,即在ImagePipeline类中实现,为当前要下载的图片保持一个内部队列,将达到的包含相同图片的项目连接到队列中,可以避免多次下载几个项目的同一图片。流程如下
-在一个爬虫里,你抓取一个项目,把其中图片的URL放入 image_urls 组内。
-项目从爬虫内返回,进入项目管道。

  • 当项目进入 [ImagesPipeline],image_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。
  1. 当图片下载完,另一个组(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从 image_urls 组获得)和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现。
    开启通道,需要在项目中添加 ITEM_PIPELINES
    即ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline':1}并将IMAGE_STTORE设置为有效的文件夹,用来存储下载的图片。

6.运行爬虫

scrapy crawl Spider

你可能感兴趣的:(2018-05-13)