电脑壁纸看腻了，网上爬一波壁纸慢慢挑

前言

爬虫是python最常用的功能之一了，虽然不能凭爬虫这一项技能出去找一份高薪工作，但是平时拿来娱乐一下还是挺不错的。

其实只要学会python的基础知识，那爬虫写起来就很简单了，只要学会下面三个库，其他的就so easy了

• requests（发送请求）
• os（操作本地文件）
• BeautifulSoup4（分析网页数据）

当然，如果会一些html知识，那就更好了。

准备工作

这次我们需要爬一波电脑壁纸，首先去网上找一个电脑壁纸的网站，我这里随便找了一个，名字叫ZOL桌面壁纸（不知道是不是正经网站）。

接着按自己的需求找壁纸了：首先选电脑壁纸，然后选择壁纸尺寸（我的电脑分辨率是1920x1080），最后选择按下载量排行（选择困难症的同学就跟我一样吧），这样就找到了我们的基础网址http://desk.zol.com.cn/1920x1080/hot_1.html

我的python版本是3.7.3

上面提到的三个库，如果本地没安装，就需要通过pip安装一下了，pip install requests, pip install os, pip install beautifulsoup4，注意：这里需要安装beautifulsoup4，如果直接安装beautifulsoup就会默认安装bs3，这个基本不用了。

使用bs4解析网页的时候需要使用解析器，当然bs4有自带的解析器，但是效率很低，这里我们使用lxml解析器，所以也要提前安装这个解析器，pip install lxml

分析网页

首页

我们需要下载这一页所有合集的图，首先右键第一张图，检查元素

检查元素

里面的这些li标签，就是对应上面的各个合集，li里a标签的链接就是点进去具体图片的链接，接着分析进去后的页面

子页面

我们需要1920x1080的真正图片，检查这个元素找到里面的链接

检查元素

找到链接以后进入得到我们需要下载的图片

检查元素

至此，我们已经找到第一个合集中第一张图片的下载地址，其他图片也是类似。接下来我们就需要编写爬虫，按照这个规则爬取所有图片。

编写爬虫

首先导入我们需要的库

import requests
import os
from bs4 import BeautifulSoup

接着编写我们主要的爬虫逻辑

def home():
    # 下载图片保存图片的基础地址
    base_path = 'D:/pythonWorkspace/background_pic/'
    # 网站的主地址
    base_url = 'http://desk.zol.com.cn'
    # 开始执行的首页地址，如果要下载第二页合集，可以将hot_2，依此类推
    url = 'http://desk.zol.com.cn/1920x1080/hot_1.html'
    # 请求得到首页文档
    response = requests.get(url)
    # 使用BeautifulSoup转成tag对象
    soup = BeautifulSoup(response.content, 'lxml')
    # 根据上面图二找到所有li
    list = soup.find_all(class_="photo-list-padding")
    # 遍历所有li，得到所有合集
    for index, li in enumerate(list):
        print('第'+str(index)+'个合集')
        # 得到子页面的href
        href = li.a['href']
        href = base_url + str(href)
        # name作为本地文件夹名字
        name = li.span.em.string
        file_path = base_path + str(name) + '/'
        # 创建文件夹
        create_file(file_path)
        # 请求子页面并转成Tag对象
        response = requests.get(href)
        soup = BeautifulSoup(response.content, 'lxml')
        # 找到子页面所有合集图片
        show_img = soup.find('ul', id='showImg')
        # 有些网页没有showImg，这里特殊处理一下，否则会报错
        if show_img is None:
            continue
        children = show_img.children
        # 遍历子页面里的所有图片
        for i, child in enumerate(children):
            href = child.a['href']
            href = base_url + str(href)
            # 找到每张图片1920*1080
            response = requests.get(href)
            soup = BeautifulSoup(response.content, 'lxml')
            # 根据上面图四定位到1920*1080的图
            img1920 = soup.find(id='1920x1080')
            # 有些图片没有这个分辨率，判断一下
            if img1920:
                href = img1920['href']
                href = base_url + str(href)
                response = requests.get(href)
                soup = BeautifulSoup(response.content, 'lxml')
                # 得到图片的下载链接
                src = soup.body.img['src']
                # 开始下载
                download(i, src, file_path)

定义创建文件夹和下载方法，注意这两个方法要放在home()之前，否则home()方法里会提示找不到这两个方法的。

# 创建文件夹
def create_file(file_path):
    if os.path.exists(file_path) is False:
        os.makedirs(file_path)


# 下载图片并保存到本地指定位置
def download(index, url, file_path):
    try:
        out = requests.get(url)
        f = open(file_path+str(index)+'.jpg','ab')
        f.write(out.content)
        f.close()
        print('下载结束')
    except Exception as e:
        print(e)

最后执行mian方法

if __name__ == '__main__':
    home()

最后

看一下成果图

成果图

成果图

妈妈再也不用担心我没有电脑壁纸换了！