批量爬取百度图片(异步+网络请求解析)

 

4、分析百度图片搜索返回结果的HTML代码，或找一图片网站
，编写爬虫抓取图片并下载形成专题图片。

#########分析#########
    # 使用网络工具查看百度图片的组成,我们可以发现他的分类中的模块是
    # 通过一个a标签包揽的，这就表明，我们可以设置两层循环(由于此时下载的东西会比较多，所以采用异步爬取)
        #1.1层循环获取分类的a链接href
        #2.2层循环获取分类a链接对应网页中图片的src 仔细查看看到他的HTML是通过js渲染上去的。
        #可以查看源码渲染情况 或者使用自动化工具直接进行测试
#但是此时我们会发现,图片的加载使用的ajax请求，所以我们需要看一下网络请求的参数设置
# 简单的查看后我们发现在Fetch/XHR请求类型中 有相关的请求数据
    #请求网址: https://image.baidu.com/search/albumsdetail
    #乱字符主要是汉字解析的问题
    #显示网址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E5%9F%8E%E5%B8%82%E5%BB%BA%E7%AD%91%E6%91%84%E5%BD%B1%E4%B8%93%E9%A2%98&fr=searchindex_album%20&album_tab=%E5%BB%BA%E7%AD%91&album_id=7&rn=30
    #请求类型get 但是此时我们可以发现他的链接后面是存在参数的
# 参数
    # pn: 30
    # rn: 30
    # tn: albumsdetail
    # word: 城市建筑摄影专题
    # album_tab: 建筑
    # album_id: 7
    # ic: 0
    # curPageNum: 1
    #按道理这种请求应该是 post 但是他确实写的是get ,所以这里涉及一个拼接的url 
#返回类型
    #是一个json数据
    #重要组成 在数据thumbnailUrl中有链接
        #https://t7.baidu.com/it/u=3248413060,1409880777&fm=193&f=GIF
        #使用浏览器发现是可以访问的，证明我们已经成功找到这些图片了
# 由于写入文件是一个i/o类型的阻塞所以也采用异步
 

# 4、分析百度图片搜索返回结果的HTML代码，或找一图片网站
# ，编写爬虫抓取图片并下载形成专题图片。

#########分析#########
    # 使用网络工具查看百度图片的组成,我们可以发现他的分类中的模块是
    # 通过一个a标签包揽的，这就表明，我们可以设置两层循环(由于此时下载的东西会比较多，所以采用异步爬取)
        #1.1层循环获取分类的a链接href
        #2.2层循环获取分类a链接对应网页中图片的src 仔细查看看到他的HTML是通过js渲染上去的。
        #可以查看源码渲染情况 或者使用自动化工具直接进行测试
#但是此时我们会发现,图片的加载使用的ajax请求，所以我们需要看一下网络请求的参数设置
# 简单的查看后我们发现在Fetch/XHR请求类型中 有相关的请求数据
    #请求网址: https://image.baidu.com/search/albumsdetail
    #乱字符主要是汉字解析的问题
    #显示网址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E5%9F%8E%E5%B8%82%E5%BB%BA%E7%AD%91%E6%91%84%E5%BD%B1%E4%B8%93%E9%A2%98&fr=searchindex_album%20&album_tab=%E5%BB%BA%E7%AD%91&album_id=7&rn=30
    #请求类型get 但是此时我们可以发现他的链接后面是存在参数的
# 参数
    # pn: 30
    # rn: 30
    # tn: albumsdetail
    # word: 城市建筑摄影专题
    # album_tab: 建筑
    # album_id: 7
    # ic: 0
    # curPageNum: 1
    #按道理这种请求应该是 post 但是他确实写的是get ,所以这里涉及一个拼接的url 
#返回类型
    #是一个json数据
    #重要组成 在数据thumbnailUrl中有链接
        #https://t7.baidu.com/it/u=3248413060,1409880777&fm=193&f=GIF
        #使用浏览器发现是可以访问的，证明我们已经成功找到这些图片了
# 由于写入文件是一个i/o类型的阻塞所以也采用异步

#####首次爬取请求我们发现他的参数不一样 存在时间验证 返回的有点不对
#https://image.baidu.com/user/logininfo?src=pc&page=searchresult&time=1701087841568
#后续刷新时才使用拼接 

#########实操#########
#&album_id=7&ic=0&curPageNum=1
import requests
from lxml import etree
import aiofiles
import asyncio
import time
import aiohttp
import urllib.parse

headers =  {
    #不加不行，获取网络请求时会出现验证
    "Referer":"https://image.baidu.com/search/albumsdetail?",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
async def web_Img(href,name):
    name = name.replace(" ","")
    t = "建筑"
    print(f"{name}图片开始下载")
    #需要获取多少图片直接修改 参数即可 跳转的a链接默认的数值是这个
    href = f"https://image.baidu.com/search/albumsdata?pn=30&rn=30&tn=albumsdetail&word={name}&album_tab={t}&album_id=7&ic=0&curPageNum=1"
    async with aiohttp.ClientSession() as session:
        async with session.get(href,headers=headers) as s:
            data_Json = await s.json()
            data_Json = data_Json["albumdata"]["linkData"]
            index = 0
            for img_Url in data_Json:
                url = img_Url["thumbnailUrl"]
                print(url)
                async with aiohttp.ClientSession() as se:
                    async with se.get(url) as img:
                        content = await img.read()
                        async with aiofiles.open(f"D:\桌面\pythoncode\爬虫实验报告\图片\{name}\{index}.jpg",'wb') as file:
                           await file.write(content)
                        index+=1
                        print(f"{index}下载成功")
async def main():
    url = "https://image.baidu.com/"
    response = requests.get(url)
    response.encoding = 'utf-8'
    en = etree.HTML(response.text)
    href_List = en.xpath("//div[@class='bd-home-content-album']//a")
    task = []
    for href in href_List:
        h = href.xpath('./@href')[0]
        title = href.xpath('./div[3]/text()')[0]
        t = asyncio.create_task(web_Img(h,title))
        task.append(t)
        break
    return await asyncio.wait(task)
if __name__ =='__main__':
   asyncio.run(main())

如果需要其他类型的图片，完全可以使用一个数组储存关键词如“建筑” “风景”这种添加参数，图片数量只需要更改参数即可。

异步的学习非常简单 只有那几个关键词 你只需要找一个案例自己敲一遍代码，完全可以学会这种爬虫方式。不需要再使用传统的方式，我们完全可以多线程中开异步等等方式。

后续教程明天更行。