pyspider 爬取 去哪网 游记内容 图片

昨天学习了pyspider的使用
《Python 3 网络爬虫开发实战》中介绍了使用pyspider爬取去哪的游记内容
然后在书中所介绍的案例的基础上，今天自己又进行了修改完善，实现了游记内容的爬取保存，已经驴友们拍摄的美图的保存。

代码如下

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-08-28 14:52:57
# Project: quna

from pyspider.libs.base_handler import *
import os

DIR_PATH = '/Users/********/Desktop/去哪游记' #本地存放路径
 
 
class Handler(BaseHandler):
    crawl_config = {
    }
    
    def __init__(self):
        self.deal = Deal() #初始化文件处理对象
        
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page) #请求主页
    
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('li > .tit > a').items():
            self.crawl(each.attr.href, callback=self.detail_page, fetch_type='js')
        next = response.doc('.next').attr.href
        self.crawl(next, callback=self.index_page) #请求详情
    
    @config(priority=2)
    def detail_page(self, response):
        images = response.doc('.js_lazyimg').items() #根据返回的网页源码来进行处理，得到所有img标签数据
        name = response.doc('#booktitle').text() #获取游记title
        dir_path = self.deal.mkDir(name) #在文件目录下生成游记文件夹
        if dir_path:
            content = response.doc('#b_panel_schedule').text()#获取游记内容
            self.deal.saveContent(content, dir_path, name)#保存游记内容在游记文件夹下，txt格式
            for img in images: 
                src = img.attr.src #获取img src
                if src:
                    file_name = self.deal.getFileName(src) #获取文件名
                    self.crawl(src, callback=self.save_img, validate_cert = False,
                               save={'dir_path': dir_path, 'file_name': file_name})#请求图片
 
    def save_img(self, response):
        content = response.content
        dir_path = response.save['dir_path']
        file_name = response.save['file_name']
        file_path = dir_path + '/' + file_name
        self.deal.saveImg(content, file_path)
        return file_path
 
class Deal:
    def __init__(self):
        self.path = DIR_PATH
        if not self.path.endswith('/'):
            self.path = self.path + '/'
        if not os.path.exists(self.path):
            os.makedirs(self.path)
 
    def mkDir(self, path):
        path = path.strip()
        dir_path = self.path + path
        exists = os.path.exists(dir_path)
        if not exists:
            os.makedirs(dir_path)
            return dir_path
        else:
            return dir_path
 
    def saveImg(self, content, path):
        f = open(path, 'wb')
        f.write(content)
        f.close()
 
    def saveContent(self, content, dir_path, name):
        file_name = dir_path + "/" + name + ".txt"
        f = open(file_name, "w+")
        f.write(content)
 
    def getFileName(self, url):
        (url, tempfilename) = os.path.split(url)
        return tempfilename

启动爬虫

image.png

爬虫开始工作

image.png

经过早上一个多小时的折腾，可以正常使用了
不过对于pyspider也有了新的认识，这家伙调试太难、编码不舒服（只能VS中写完复制过去才能好受点）
个人感觉pyspider简单，易操作，适合去爬一些急、数据量不大又不复杂的情况
今天学习Scrapy，完事之后再做对比