scrapy 爬取整站图片

这是一个练习项目，这里要感谢的向右奔跑，从开始学习scrapy开始，跟向右奔跑老师学习了很多，这个项目也是向右奔跑老师的建议练习项目之一。
使用Scrapy ItemLoaders爬取整站图片

在老师的基础上自己做了一些修改。本案例没有用到item，setting也只有增加了USER_AGENT（有些网站反爬，模拟浏览器）和DOWNLOAD_DELAY（设置访问频率），因此直接上spider代码（直接在代码中说明学习过程中遇到的问题和解决方法）：

from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider
from scrapy.http import Request
import re                                                #需要用到正则表达式提取数字
import urllib.request                              #下载图片的需要用到这个模块，我个人不会用pipelines下载

class MeiziSpider(CrawlSpider):
    name = 'meizi'

    #重写入口
    def start_requests(self):                    #重新写了入口url，一开始用递归写的，发现写出来好多重复访问（不会去重），效率太低，后来改成正常的函数调用了，虽然麻烦了点。
        return [Request('http://www.meizitu.com/a/list_1_1.html',callback=self.parse)]

    #访问分页                                           #parse主要是提取分页的规格，获取分页最大的页码，循环分页访问分页url
    def parse(self,response):
        cel = Selector(response)
        cel2 = cel.xpath('//div[@id="wp_page_numbers"]/ul/li')
        for info in cel2:
            text = info.xpath('a/text()').extract()
            if len(text):
                text = text[0]
                if text == '末页':
                    page = info.xpath('a/@href').extract()[0] #xpath获得的是list，需要加[0]
                    page = re.findall(r'list_1_(\d+).html',page)[0] #获得最大的页码，用到re模块，findall获得的是list，需要加[0]
                    break
        for each in range(int(page)):
            pageurl = 'http://www.meizitu.com/a/list_1_%s.html'% str(each+1)
            print(pageurl)
            yield Request(url=pageurl,callback=self.sceond_parse)


    #访问第二层页面
    def sceond_parse(self,response):
        cel = Selector(response)
        cel1 = cel.xpath('//ul[@class="wp-list clearfix"]/li/div/div/a/@href').extract()
        for info in cel1:                                for循环分页访问分页上缩略图片的详细地址，获得详细图片的url，并访问
            image_url = info
            yield Request(url=image_url,callback=self.image_urlparse)

    #保存图片
    def image_urlparse(self,response):
        cel = Selector(response)
        name = cel.xpath('//div[@id="picture"]/p/img/@alt').extract()
        pic = cel.xpath('//div[@id="picture"]/p/img/@src').extract()
        for i in range(len(name)):
            print(name[i],pic[i])             #测试用
            #以下代码是模拟浏览器，urllib模块的headers需要单独增加，settings中的headers对urllib无效。
            opener=urllib.request.build_opener()
            opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
            urllib.request.install_opener(opener)

            #以下代码保存图片。
            try:
                urllib.request.urlretrieve(pic[i],r'C:\Users\ABC\Desktop\meizi\pic\%s.jpg'% name[i])   #下载到后面的page时发现每张图片的名字一样，导致后面的图片会把之前的图片覆盖，name还需要重新修改，以后有时间在修改。
            except:
                print('--no---image--')

效果：

Paste_Image.png

存在的问题：

1.重复命名：后面分页图片地址对应的name一样，导致会少掉很多图片，后续要重写命名规则。
![`4KW)BQFAQ3Q62(NM47T]6P.png](http://upload-images.jianshu.io/upload_images/4568344-ba5463e22a3f702e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

2.还不会使用pipelines下载。

3.此站不需要登陆，没有涉及到模拟登陆的内容，后续需要继续学习的内容。

4.解析网站花了好多时间，对网站结构不是很清楚，xpath也不是很熟悉，使用的时候经常出现问题。