2017-5-2Scrapy爬顶点

学着用一下框架,参考了小白进阶之Scrapy第一篇(这篇文章写的很详细),采集顶点小说

• 首先在item里定义字段

    name = scrapy.Field()  # 小说的名字
    author = scrapy.Field()  # 小说的作者
    novelurl = scrapy.Field()  # 小说地址
    status = scrapy.Field()  # 状态
    number = scrapy.Field()  # 连载字数
    category = scrapy.Field()  # 文章类别
    name_id = scrapy.Field()  # 小说编号

• 创建dingdian.py导入需要的模块

import scrapy
import re
from dingdian.items import DingdianItem
from scrapy.http import Request
from bs4 import BeautifulSoup

• 根据不同分类的小说作为入口url,观察特征,编写start_urls列表

class DingdianSpider(scrapy.Spider):

    name = 'dingdian'  # 项目名称,必须是唯一的
    allowed_domains = ['23us.com']  # 域名
    start_urls = []  # 构建各个类型首页url的列表
    for i in range(1, 11):
        url = 'http://www.23us.com/class/%d_1.html' % i
        start_urls.append(url)

• 编写parse函数解析response构建出所有页面的url

    def parse(self, response):
        '''
        解析每一个类型的首页url并返回这个类型的所有页面url
        :param response: 
        :return: 
        '''
        pattern = '>1/(\d+)<'
        html = response.text
        max_num = re.findall(pattern, html)[0]  # 构建re获取各个类型的最大页面数
        prefix_url = str(response.url)[0:28]
        for num in range(1, int(max_num)+1):
            url = prefix_url + str(num) + '.html'  # 构建每一页的完整url
            yield Request(url, callback=self.get_url)
            # 将页面的response交给get_url()函数处理

首先是根据正则表达式获取最大页码值,然后拼接处完整的url,并将response传递给下一个函数.

• 写一个get_url()函数获取每一页小说简介的url,跟原博思路不太一样的是我先找到小说的简介的url再去简介里面获取需要的信息,因为我发现简介里面有需要的所有信息,很详细.

  
  
  

  简介.png

    def get_url(self, response):
        '''
        根据每个页面的url找到这个页面中所有书籍的简介url
        :param response: 
        :return: 
        '''
        # pattern1 = 'title="(.*?)简介"'  # name的正则表达式(偷懒用re)
        pattern2 = 'a href="(.*?)" title='  # 构造简介的url的正则表达式
        html = response.text
        # names = re.findall(pattern1, html)
        urls = re.findall(pattern2, html)
        for u in urls:
            yield Request(u, callback=self.get_all)  # 将简介的url交给get_all处理

本来打算在这个函数提取出小说名,根据title=这个规律,但发现不好传递给下一个函数,就只提取一个简介的url好了,下一个函数再把所有需要的提取出来.

2017-05-02 获取name正则.png

• 最后就是get_all(),提取我们需要的所有吧.

    def get_all(self, response):
        '''
        处理页面,匹配各项内容并返回item字典
        :param response: 
        :return: 
        '''
        item = DingdianItem()
        html = response.text
        name = BeautifulSoup(html, 'lxml').find('h1').get_text().split()[0]
        novelurl = BeautifulSoup(html, 'lxml').find('a', class_='read')['href']
        bs_table = BeautifulSoup(html, 'lxml').find('table')
        author = bs_table.find_all('td')[1].get_text().split()[0]
        status = bs_table.find_all('td')[2].get_text().split()[0]
        number = bs_table.find_all('td')[4].get_text().split()[0][:-1]
        category = bs_table.find_all('td')[0].get_text().split()[0]
        name_id = re.findall('down/(\d+)', html)[0]
        item['name'] = name
        item['author'] = author
        item['novelurl'] = novelurl
        item['status'] = status
        item['number'] = number
        item['category'] = category
        item['name_id'] = name_id
        return item

都是一些简单的提取代码,没什么好解释的.Spider就写完了.

• 定义pipeline存入MySQL,刚看了下MySQL语法,这段基本上是copy了原博的代码,修改settings

• 昨晚run了一下,40秒存入3500多条数据,大概是120个页面,就心满意足的上床睡觉了.

  
  
  
  
  
  

• 今天早上起来想着把数据全爬下来(8点多看小说的人应该睡着了吧,这个时候服务器访问量没那么大,减轻服务器压力).

  
  
  
  
  

  洗脸刷页回来发现好多重定向,数据总共只有5000多条,还不如40秒勒.在settings里禁止了重定向数据也没有多起来.

• 顶点就先这样吧,总结一下,页面比较简单,都是静态没有Ajax,好像也没有限制ip访问频率,这个重定向对我来说拎不清.还有一些想法没精力和能力实现的:能不能把url放进set去重代替MySQL判断,怎么提高速率(多进程?).源码
• 以前觉得把过程记录下来好占时间,但自己看了别人的优秀博客学到了很多,也应该多记录,留下点什么作为传承(虽然自己水了点,莫欺少年穷),也方便自己回顾,再理一遍.