requests库简单爬取百度图片

代码块

import re
import requests

# 创建一个浏览器，并且实例化Session
session = requests.Session()

# 传入请求头，防止被封，403
session.headers.update({'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'})

# url
url = 'http://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%CD%BC%C6%AC&fr=ala&ala=1&alatpl=others&pos=0'
res = session.get(url=url)

# 拿到的html数据
html = res.text

# 提取图片url，这里根据re模块匹配，
img_urls = re.findall(r'"thumbURL":"(.*?)"',html)


# 下载保存数据
for index,img_url in enumerate(img_urls):               # 通过高阶内置函数enumerate()枚举
    session.headers.update({'Referer':'%s'%url})        # 发现获取图片的url时，打开显示403拒绝访问，所以需要加Referer请求头
    img_res = session.get(img_url)
    with open('%s.jpg'%index,'wb') as f:                # 打开文件
        f.write(img_res.content)                        # 这里写入content二进制数据
    print(img_url)

这里说明这一行代码

img_urls = re.findall(r'"thumbURL":"(.*?)"',html)

通过re模块进行匹配图片url，通过检查网页元素以及查看网页源代码，发现，这些图片都有的共同属性，就是"thumbURL",通过它就可以锁定到我们需要的图片地址

元素检查

源网页查找

运行结果

我们发现，在当前文件夹位置下面，下载了我们需要的图片，随即打开一张

这里打开会发现，图片不是很大，这是因为我们没有进行图片格式的过滤，而是直接进行了匹配，不过就几行代码而已，可以自己摸索便是！！