Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)

文章目录

  • 一、爬取目标
  • 二、实现效果
  • 三、准备工作
  • 四、使用代理
    • 4.1 使用代理的好处?
    • 4.2 获取免费代理
  • 五、爬虫实战
    • 5.1 导入模块
    • 5.2 分析网页
    • 5.3 获取图片链接
    • 5.4 获取代理
    • 5.5 下载图片
    • 5.6 调用主函数
    • 5.7 完整代码
    • 5.8 免费代理不够用怎么办?
  • 六、总结

一、爬取目标

在日常生活或工作中,我们经常需要使用某度图片来搜索相关的图片资源。然而,如果需要批量获取特定关键字的图片资源,手动一个个下载显然是非常繁琐且耗时的。因此,本文将介绍如何使用Python爬虫技术批量话下载图片:

二、实现效果

实现批量下载指定关键词的图片,存放到指定文件夹中:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第1张图片

三、准备工作

Python:3.10

编辑器:PyCharm

第三方模块,自行安装:

pip install requests # 网页数据爬取
pip install lxml # 提取网页数据

四、使用代理

4.1 使用代理的好处?

爬虫使用代理IP的好处有以下几点:

  • 轮换IP地址:使用代理IP可以轮换IP地址,降低被封禁的风险,从而保持爬取的连续性和稳定性。
  • 提高采集速度:代理IP可以提供多个IP地址,使得爬虫能够同时进行多个线程使用,从而加快数据的采集速度。
  • 绕过反爬虫机制:许多网站采取了各种反爬虫机制,例如IP封禁、验证码、请求频率限制等。使用代理IP可以帮助爬虫绕过这些机制,保持正常的数据采集。
  • 保护个人隐私:使用代理IP可以帮助隐藏真实的IP地址,保护个人身份和隐私信息。

博主经常写爬虫代码使用的是巨量IP家的高匿名代理IP,每天有1000个免费IP:点击免费试用

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第2张图片

4.2 获取免费代理

1、打开巨量IP官网:巨量IP官网

2、输入账号信息进行注册:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第3张图片

3、这里需要进行实名认证,如果不会的可以看:个人注册实名教程:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第4张图片

4、进入会员中心,点击领取今日免费IP:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第5张图片

5、详细步骤看官方的教程文档:巨量HTTP—免费代理ip套餐领取教程,领取后如下图:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第6张图片

6、点击产品管理》动态代理(包时),可以看到我们刚才领取到的免费IP信息:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第7张图片

7、将自己电脑的IP添加为白名单能获取代理IP,点击授权信息:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第8张图片

8、依次点击修改授权》快速添加》确定

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第9张图片

9、添加完成后,点击生成提取链接:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第10张图片

10、设置每次提取的数量,点击生成链接,并复制链接:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第11张图片

11、将复制链接,复制到地址栏就可以看到我们获取到的代理IP了:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第12张图片

五、爬虫实战

5.1 导入模块

import requests # 爬虫必备
import time # 限制爬虫速度
import os # 新建指定存储文件夹

5.2 分析网页

我们右击网页点击插件,可以在network中找到图片链接存储的接口:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第13张图片

接下来只需要去构造参数获取接口中的数据,发送请求即可:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第14张图片

5.3 获取图片链接

这里我们创建一个get_img_url(keyword)函数传入关键词,通过添加请求头和params表单构造接口参数,发送请求获取图片链接:

def get_img_url(keyword):
    """发送请求,获取接口中的数据"""
    # 接口链接
    url = 'https://image.baidu.com/search/acjson?'
    # 请求头模拟浏览器
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}
    # 构造网页的params表单
    params = {
        'tn': 'resultjson_com',
        'logid': '6918515619491695441',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': f'{keyword}',
        'word': f'{keyword}',
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '-1',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '0',
        'istype': '2',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'girl',
        'pn': 1,
        'rn': '30',
        'gsm': '1e',
    }
    # 携带请求头和params表达发送请求
    response  = requests.get(url=url, headers=headers, params=params)
    # 设置编码格式
    response.encoding = 'utf-8'
    # 转换为json
    json_dict = response.json()
    # 定位到30个图片上一层
    data_list = json_dict['data']
    # 删除列表中最后一个空值
    del data_list[-1]
    # 用于存储图片链接的列表
    img_url_list = []
    for i in data_list:
        img_url = i['thumbURL']
        # 打印一下图片链接
        print(img_url)
        img_url_list.append(img_url)
    # 返回图片列表
    return img_url_list

运行结果,控制台打印获取的图片链接:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第15张图片

我们点开一个图片链接查看,的确没问题:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第16张图片

5.4 获取代理

获取到图片链接后我们需要再次发送请求去下载图片,由于请求量一般会很大所以需要用到代理IP。上面我们已经手动获取到了代理IP,下面来看Python如何挂上代理IP发送请求:

1、通过爬虫去获取API接口的里面的代理IP(注意:下面代理URL,看4.2教程换成自己的API链接):

import requests
import time
import random


def get_ip():
    url = "这里放你自己的API链接"
    while 1:
        try:
            r = requests.get(url, timeout=10)
        except:
            continue

        ip = r.text.strip()
        if '请求过于频繁' in ip:
            print('IP请求频繁')
            time.sleep(1)
            continue
        break
    proxies = {
        'https': '%s' % ip
    }

    return proxies



if __name__ == '__main__':
    proxies = get_ip()
    print(proxies)

运行结果,可以看到返回了接口中的代理IP:

2、接下来我们写爬虫代理的时候就可以挂上代理IP去发送请求了,只需要将proxies当成参数传给requests.get函数去请求其他网址:

requests.get(url, headers=headers, proxies=proxies) 

5.5 下载图片

图片链接有了,代理IP也有了,下面我们就可以下载图片。定义一个get_down_img(img_url_list)函数,传入图片链接列表,然后遍历列表,每下载一个图片切换一次代理,将所有图片下载到指定文件夹:

def get_down_img(img_url_list):
    # 在当前路径下生成存储图片的文件夹
    os.mkdir("小姐姐")
    # 定义图片编号
    n = 0
    for img_url in img_url_list:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}
        # 调用get_ip函数,获取代理IP
        proxies = get_ip()
        # 每次发送请求换代理IP,获取图片,防止被封
        img_data = requests.get(url=img_url, headers=headers, proxies=proxies).content
        # 拼接图片存放地址和名字
        img_path = './小姐姐/' + str(n) + '.jpg'
        # 将图片写入指定位置
        with open(img_path, 'wb') as f:
            f.write(img_data)
        # 图片编号递增
        n = n + 1

5.6 调用主函数

主要步骤为明确我们需要获取的关键名,获取指定关键词的图片链接,下载图片到指定位置

if __name__ == '__main__':
    # 1. 修改关键词
    keyword = '小姐姐'
    # 2. 获取指定关键词的图片链接
    img_url_list = get_img_url(keyword)
    # 3. 下载图片到指定位置
    get_down_img(img_url_list)

5.7 完整代码

下面完整代码只需要修改关键词和get_ip()函数中的代理IP接口链接(注意:看4.2教程换成自己的API链接)

import requests # 爬虫必备
import time # 限制爬虫速度
import os # 新建指定存储文件夹


def get_ip():
    """获取代理IP"""
    # (注意:下面代理URL,看4.2教程换成自己的API链接):
    url = "这里放你自己代理IP的API链接"
    while 1:
        try:
            r = requests.get(url, timeout=10)
        except:
            continue

        ip = r.text.strip()
        if '请求过于频繁' in ip:
            print('IP请求频繁')
            time.sleep(1)
            continue
        break
    proxies = {
        'https': '%s' % ip
    }

    return proxies



def get_img_url(keyword):
    """发送请求,获取接口中的数据"""
    # 接口链接
    url = 'https://image.baidu.com/search/acjson?'
    # 请求头模拟浏览器
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}
    # 构造网页的params表单
    params = {
        'tn': 'resultjson_com',
        'logid': '6918515619491695441',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': f'{keyword}',
        'word': f'{keyword}',
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '-1',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '0',
        'istype': '2',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'girl',
        'pn': 1,
        'rn': '30',
        'gsm': '1e',
    }
    # 携带请求头和params表达发送请求
    response  = requests.get(url=url, headers=headers, params=params)
    # 设置编码格式
    response.encoding = 'utf-8'
    # 转换为json
    json_dict = response.json()
    # 定位到30个图片上一层
    data_list = json_dict['data']
    # 删除列表中最后一个空值
    del data_list[-1]
    # 用于存储图片链接的列表
    img_url_list = []
    for i in data_list:
        img_url = i['thumbURL']
        # 打印一下图片链接
        print(img_url)
        img_url_list.append(img_url)
    # 返回图片列表
    return img_url_list


def get_down_img(img_url_list):
    # 在当前路径下生成存储图片的文件夹
    os.mkdir("小姐姐")
    # 定义图片编号
    n = 0
    for img_url in img_url_list:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}
        # 调用get_ip函数,获取代理IP
        proxies = get_ip()
        # 每次发送请求换代理IP,获取图片,防止被封
        img_data = requests.get(url=img_url, headers=headers, proxies=proxies).content
        # 拼接图片存放地址和名字
        img_path = './小姐姐/' + str(n) + '.jpg'
        # 将图片写入指定位置
        with open(img_path, 'wb') as f:
            f.write(img_data)
        # 图片编号递增
        n = n + 1



if __name__ == '__main__':
    # 1. 修改关键词
    keyword = '小姐姐'
    # 2. 获取指定关键词的图片链接
    img_url_list = get_img_url(keyword)
    # 3. 下载图片到指定位置
    get_down_img(img_url_list)

运行结果,生成文件夹,所有图片下载到指定文件夹中:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第17张图片

5.8 免费代理不够用怎么办?

每天免费的1000个代理IP不够用怎么办?经常写爬虫代码对于代理IP需求量很大的小伙伴推荐使用巨量IP家的不限量代理IP套餐,IP有效时长:30-60秒就够用了:点击购买

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第18张图片

这里默认有5个代理池子,单次最高提取50,提取1秒一次;如果单次提取1个,则可以实现1秒提取50次。如果觉得单次50个代理IP还不够的可以增加IP池子。

我算了一下默认的五个池子,1秒可以提取50个代理IP,一天86400秒,也就是说一天可以提取 50x86400=4,320,000个代理IP,好家伙于是博主我果断给自己安排了一个包年套餐,别提有多爽了:

Python爬虫实战(五):根据关键字爬取某度图片批量下载到本地(附上完整源码)_第19张图片

六、总结

代理IP对于爬虫是密不可分的,代理IP可以帮助爬虫隐藏真实IP地址,有需要代理IP的小伙伴可以试试巨量家的代理IP:巨量IP官网

你可能感兴趣的:(Python爬虫实战100例,python,爬虫,爬虫下载图片)