Python爬虫--Scrapy使用

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

1. 开始新建一个scrapy项目

切换到工作目录, 使用终端命令行执行命令

image.png

运行结束后scrapy会自动生成一下项目结构

image.png

其中框起来的文件不是自己生成的, 需要自己手动新建到spiders文件夹下面, 这个文件就是项目的爬虫文件了

2.爬虫代码的实现

1.爬虫文件

先来抓取网站meisupic.com的一个单一界面

# -*- coding: utf-8 -*-

from spiderTest.items import SpidertestItem
import scrapy

class ZhouSpider(scrapy.Spider):

  name = 'zhou'

  allowed_domins = ['meisupic.com']

  baseURL = 'http://www.meisupic.com/topic.php?id=107'
  start_urls = [baseURL]
  download_delay = 2

  def parse(self, response):

      item = SpidertestItem()
      srcs = response.xpath("//div[@id='searchCon2']/ul/li/a/img/@data-original").extract()
      item['image_urls'] = srcs

      yield item

其中需要导入item文件
然后用item里面的image_urls来接收所有返回的图片列表,注意需要yield列表而不是某一个URL地址.

选择器建议使用xpath. 可以很方便的选取路径或者属性.
xpath教程:http://www.w3school.com.cn/xpath/index.asp

2.item文件

import scrapy

class SpidertestItem(scrapy.Item):
    # define the fields for your item here like:
    image_urls = scrapy.Field()
    image_paths = scrapy.Field()
    images = scrapy.Field()
    pass

3.pipelines文件

图片管道需要用到类ImagesPipeline
导入ImagesPipeline

具体代码如下:

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
import scrapy


class SpidertestPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        image_path = [x['path'] for ok, x in results if ok]
        if not image_path:
            raise DropItem('Item contains no images')
        item['image_paths'] = image_path
        return item

刚才保存在item里的图片地址的列表就可以拿来下载图片了

4.settings文件

这里附上settings.py的部分设置:

BOT_NAME = 'spiderTest'

SPIDER_MODULES = ['spiderTest.spiders']
NEWSPIDER_MODULE = 'spiderTest.spiders'

MEDIA_ALLOW_REDIRECTS = True #因为图片地址会被重定向，所以这个属性要为True
IMAGES_STORE = "image"  #存储图片的路径
ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
   'spiderTest.pipelines.SpidertestPipeline': 1,
}

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'

FEED_EXPORT_ENCODING = 'utf-8'

3.启动爬虫

在工作目录使用命令行执行:

image.png

其中zhou是爬虫的名字 之前在这里设置的

image.png

执行完成后图片就保存在项目目录下的在settings.py里面设置的文件夹下了

image.png