Python爬虫笔记（5）：scrapy之CrawlSpider的使用

CrawlSpider基础

• crawlspider，适合爬取那些具有一定规则的网站，它基于Spider并有一些独特属性：

  rules: 是Rule对象的集合，用于匹配目标网站并排除干扰
  parse_start_url: 用于爬取起始响应，必须要返回Item，Request中的一个。
  因为rules是Rule对象的集合，所以这里也要介绍一下Rule。它有几个参数：link_extractor、callback=None、cb_kwargs=None、follow=None、process_links=None、process_request=None
  其中的link_extractor既可以自己定义，也可以使用已有LinkExtractor类，主要参数为：
  allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
  deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
  allow_domains：会被提取的链接的domains。
  deny_domains：一定不会被提取链接的domains。
  restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接。还有一个类似的restrict_css

这里以爬取小程序社区为例，进行学习CrawlSpider的用法。

CrawlSpider的用法

1. 创建一个项目
   scrapy srartproject wxapp
2. 创建CrawlSpider爬虫
   scrapy genspider -t crawl wxjc www.wxapp-union.com

3. 用pycharm打开项目文件夹，即可得到下图

   
   
   (01.png
   
   

   此时sipder文件夹下的wxjc.py已经为我们生成好了，不需要我们再手动创建。

4. 编写item.py

02.png

这里我爬取了如上图所示的：标题，作者，时间以及文章这四个字段的内容

import scrapy

class WxappItem(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    time = scrapy.Field()
    content = scrapy.Field()

5. 打开wxjc.py，编写程序

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from wxapp.items import WxappItem


class WxjcSpider(CrawlSpider):
    name = 'wxjc'
    allowed_domains = ['www.wxapp-union.com']
    start_urls = ['http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1']

    rules = (
        Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'), follow=True),
        Rule(LinkExtractor(allow=r'.+article-.+\.html'), callback='parse_item', follow=False)
    )

    def parse_item(self, response):
        title = response.xpath("//h1[@class='ph']/text()").get()
        author = response.xpath("//p[@class='authors']/a/text()").get()
        time = response.xpath("//p[@class='authors']/span/text()").get()
        content = response.xpath("//td[@id='article_content']//text()").getall()
        content = ''.join(content).strip()
        item = WxappItem(title=title, author=author, time=time, content=content)
        yield item

在这里我写了两套规则，第一个Rule，用来匹配所有文章列表页面，因为第一页只显示10个页码按钮，所以follow选择Ture，表示进一步提取。此页面不需要编写函数进行解析，需要解析的是详情页，即第二个Rule，而详情页每页只有一篇文章，所以需要把follow改成False，虽然scrapy有去重功能，但我们还是希望它按照我们的意愿一页一页地进行爬取。allow是根据列表页和详情页的网页规律构造的正则表达式的url，表示需要爬取的所有匹配的url。

6. 生成json格式文档

• 可以通过编写pipelines来生成json文档

from scrapy.exporters import JsonLinesItemExporter

class WxappPipeline(object):
    def __init__(self):
        self.fp = open('wxjc.json', 'wb')
        self.exporter = JsonLinesItemExporter(self.fp, ensure_ascii=False, encoding='utf-8')

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self,spider):
        self.fp.close()

• 也可以直接输入命令来生成
  scrapy crawl wxjc -o wxjc.json

7. 爬取结果

   
   
   03.png