Scrapy框架的基本使用及注意事项

创建一个工程和Spider模板

我们先用命令行创建一个Scrapy工程：

  $ scrapy startproject soudu

接着，我们进入到工程目录：

  $ cd soudu

我们来看一下目录结构：

tree
# OUT:
 ├── soudu                  #外层目录
│   ├── __init__.py         #初始化脚本    
│   ├── __pycache__         #Python缓存文件。暂时无视
│   ├── items.py            #Items代码模板，继承类自scrapy.Item
│   ├── middlewares.py      #Middlewares代码模板(继承类)
│   ├── pipelines.py        #Pipelines代码模板(继承类)
│   ├── settings.py         #Scrapy爬虫的配置文件
│   └── spiders             #Spiders代码模板目录 我们写爬虫的地方
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg              #部署爬虫的配置文件

4 directories, 7 files

最后，我们用命令行创建第一个Spider：

$ scrapy genspider right www.sodu.cc

这样我们就创建了一个名为right的爬虫了

步骤二：编写Spider

我们来着手定制我们的爬虫吧：

看一下详细的注释

# -*- coding: utf-8 -*-
import scrapy
# 将我们需要爬的项目引入进来
from soudu.items import SouduItem

class DemoSpider(scrapy.Spider):
  
    #该爬虫的名字
    name = "title"

    #规定爬虫爬取网页的域名   
    allowed_domains = ['www.sodu.cc']

    #开始爬取的url链接
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
      ''' 
        parse()函数接收Response参数，就是网页爬取后返回的数据 用于处理响应，
        他负责解析爬取的内容 生成解析结果的字典，并返回新的需要爬取的请求
      ''' 
    #由于是demo 我们不做完全的功能， #只要求爬取出第一部小说的名字 
      #xpath规则可以通过查看网页源文件得出，chrome右键检查定位到所要爬取的内容

      name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0] 
      #建立一个items字典，用于保存我们爬到的结果，并返回给pipline处理
     items = {} 
     items['第一部小说名']= name
     return items

步骤三：编写Item Pipeline

首先我们编写itmes.py来定义这个爬虫框架需要爬哪些内容：

import scrapy
class SouduItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field() 

接着我们编写 piplines.py来处理spider爬到的内容:

  class ZimukuPipeline(object):

       def process_item(self, item, spider):

    # 因为是最简单的，所以我们把爬到的结果打印一下

       print(item)

       return item

步骤四：优化配置Settings.py

BOT_NAME = 'soudu'

SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

#只增加了这一行，通过配置告诉Scrapy明白是谁来处理结果
ITEM_PIPELINES = {
 'soudu.pipelines.SouduPipeline': 300,
}

首先我们通过命令来执行爬虫：

$ scrapy crawl title

我只截取部分我们需要的内容:

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小说名': '圣墟'}

注意事项：