python获取图片url与海量下载图片

python获取图片url与海量下载图片
爬取静态的和爬取动态的。
有些页面打开你不断下拉它不断的加载出图片便是动态的。
静态爬取则是针对一页一页翻页的。
爬虫是一种去网页上爬取数据的程序


这便是动态的，几乎加载不完

接下来改成静态的，翻页的
将index改成flip



inspect element检查元素





复制src然后去拿cbj-url:


拿到objurl后可以赋值给代码中的变量url，即可拿到这一张照片
（一般objurl是原图大图）


拿到的图片的url的后缀不一定都是.jpg


对于没有后缀名的强制更改它的格式加上一个后缀:

wb: 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb+:以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
f.close() 关闭文件

下面为完整的代码:

---

#!/usr/bin/env python3
import requests
import re
#import ssl
#ssl._create_default_https_context = ssl._create_unverified_context
s = requests.Session()
s.headers[‘User-Agent’] = ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
#1确定url
url = “https://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1620796550603_R&pv=&ic=&nc=1&z=&hd=&latest=©right=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&hs=2&sid=&word=%E6%B0%B4%E6%9E%9C”
#"%E6%B0%B4%E6%9E%9C"

#2请求
res = s.get(url).text
#text默认utf-8编码，指定编码:ret为get1拿到的对象即ret=requests.get(url),ret.content.decode(“utf-8”)
#print(res)

#3删选数据
image_urls = re.findall(’“objURL”:"(.*?)"’,res)
#findall找出所有
#print(image_urls)
for image_url in image_urls:
#print(image_url)
image_name = image_url.split(’/’)[-1]
image_name=image_name.split("&")[0]
#print(image_name)

#.search()方法用于在整个字符串中搜索第一个匹配的值，匹配成功返回一个March对象，否则返回None,注意操作对象是字符串
image_end = re.search("(.jpg|.png|.jpeg|.gif)$",image_name)#表示从末尾开始
if image_end == None:
    image_name = image_name + ".jpg"
image = requests.get(image_url).content
#print(image_name)

#4保存
#路径，.为相对路径写法,wb允许文件写入二进制数据,%s字符串类型，%d%f

with open('/root/python_code/day05/ima/%s'%image_name,'wb') as file: 
    file.write(image)
    file.close()

---