[python]使用pyspider下载meizitu的图片

混金融圈混久了，感觉金融就是一个坑，越陷越深。学习分析，除了会报表外，还要懂得数据处理，所以学习编程是跑不了的。然后上半年不断学习python的数据分析用法，然后。。。又发现没有数据你什么都分析不了。。。于是乎又要学习网站爬虫。感觉自己越学越杂了。

前段时间学习了用Python 的Urllib 和BeautifulSoup爬虫，感觉效率不高。于是又去学了pyspider。鉴于网上对pyspider的教学不多，我就按照崔庆才的个人博客上分享的“小白进阶之Scrapy第四篇（图片下载管道篇）“ 进行了分析。教程里面是用到scrapy的，鉴于本人不会scrapy，于是自己按照之前学的知识用pyspider爬了下来，代码中的"文件保存部分"是直接用了崔庆才的代码，感谢崔庆才。

• 首先，先建立一个项目，并输入网址：www.mzitu.com/all， 然后点击运行。
  

  

• 然后“follows”后面会出现红点， 证明了获取链接www.mzitu.com/all 成功。
  

  
  
  
  

  0C3DDAAE-294B-47CE-90F3-00F74CB8B7D1.png

• 然后再点击绿色的图标获取www.mzitu.com/all 下的所有链接。成功了。 但问题是有些链接我们是不需要的，所以我们要定义获取的范围。
  

  

• 虽然pyspider本身已经提供了很好的css selector，但有时候获取效果不大理想，所以我们可以直接用chrome的F12进行分析获取。 先点击要获取的范围，然后在代码处右键选取css selector。 本教程只是为了练习，没有必要将全部链接都获取，所以我只选取了05月份的链接作为获取范围。

  
  
  

• 回到代码处添加刚才的选取范围，是不是发现多余的链接都没有了呢？ #提取指定div.all > ul:nth-child(3) > li:nth-child(1)里面的部分连接

• 获取对应链接后，再随便点击左图上绿色的箭头，然后选择“web”， 接下来会看到每个页面只显示一张图片，接下来要处理的问题是利用循环遍历57个页面并获取图片。

  
  
  

  QQ20170526-194138.png

• 首先分析页面的规律会发现，最大页数通常在底部页码链接中的倒数第二个，或者是顺数第七个。既然是固定的话，那么直接获取css selector就可以了。

  
  
  

• 然后用while循环就能获取对应页面了。

  
  
  

全部代码直接复制到pyspider里面就可以运行了：

# -*- encoding: utf-8 -*-
# Created on 2017-05-22 09:13:19
#柯西君_BingWong , 瘾金融
# Project: meizitu
 
from pyspider.libs.base_handler import *
import os
 
DIR_PATH = '/mm'
 
class Handler(BaseHandler):
    crawl_config = {
    }
    
    def __init__(self):
        self.deal = Deal()
    
        
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://www.mzitu.com/all', callback=self.index_page)
        self.deal=Deal()
 
    #提取指定div.all > ul:nth-child(3) > li:nth-child(1)里面的部分连接
    #如果想获取全站的图片，只需要改为'div.all a[href^="http"]'
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('div.all > ul:nth-child(3) > li:nth-child(1) a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)
    #获取某一页面后，每页只显示一张图片，所以要循环获取所有连接
    @config(priority=2)
    def detail_page(self, response):   
        self.page_num = 1
        self.page_total = int(response.doc('div.pagenavi > a:nth-child(7)').text()) #获取总图片页面数
        self.base_url = response.url + '/'
 
        #循环获取所有连接
        while self.page_num <= self.page_total:
            url = self.base_url + str(self.page_num)
            self.crawl(url, callback=self.domain_page)
            self.page_num += 1        
        
    def domain_page(self, response):    
        name = response.doc('.main-title').text()   #获取网页标题
        dir_path = self.deal.mkDir(name)            #建立目录
        if dir_path:
            imgs = response.doc('p img').items()    #获取页面图片
            count = 1
            for img in imgs:
                url = img.attr.src
                if url:
                    extension = self.deal.getExtension(url)
                    file_name = name + str(count) + '.' + extension
                    count += 1
                    self.crawl(img.attr.src, callback=self.save_img,
                               save={'dir_path': dir_path, 'file_name': file_name})
        return {"name":name,}
    #保存图片                
    def save_img(self, response):
        content = response.content
        dir_path = response.save['dir_path']
        file_name = response.save['file_name']
        file_path = dir_path + '/' + file_name
        self.deal.saveImg(content, file_path)                    
                    
        
class Deal:
    def __init__(self):
        self.path = DIR_PATH
        if not self.path.endswith('/'):
            self.path = self.path + '/'
        if not os.path.exists(self.path):
            os.makedirs(self.path)
 
    def mkDir(self, path):
        path = path.strip()
        dir_path = self.path + path
        exists = os.path.exists(dir_path)
        if not exists:
            os.makedirs(dir_path)
            return dir_path
        else:
            return dir_path
 
    def saveImg(self, content, path):
        f = open(path, 'wb')
        f.write(content)
        f.close()
 
    def saveBrief(self, content, dir_path, name):
        file_name = dir_path + "/" + name + ".txt"
        f = open(file_name, "wb+")
        f.write(content.encode('utf-8'))
 
    def getExtension(self, url):
        extension = url.split('.')[-1]
        return extension

别忘了在 def on_start 继承Deal()这个类，要不然保存不了。其实要beautifulsoup和urllib都可以达到同样的效果，不过会改用正则表达式获取相应内容。

文章来自我的blog：http://www.bingwong.org