这里我们使用两个库:requests和Beautiful Soup库
基本思路如下:
1.首先我们找到图片所在的网页
(注意这里的网页并不是实际图片存在的网址)
2.然后由requests库发送请求,返回我们需要的content
3.我们使用BS解析我们得到的网页,抓取所有图片的地址添加到列表中
4.最后我们设置好图片的格式,将列表中的图片地址传入,就可以批量下载图片啦
实战代码
# -*- coding:UTF-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.win4000.com/zt/yingxionglianmeng.html' # 目标地址
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}
# 构造头
img = [] # 用于存储图片真实地址的列表
def get_url(url):
"""获取网页内容"""
req = requests.get(url, headers=headers)
req.raise_for_status()
req.encoding = 'utf-8'
# print(req.status_code) 打印200说明获取成功
return req.content
def get_html(html):
"""查找所有有关图片得地址添加入列表中"""
soup = BeautifulSoup(html, 'html.parser')
# html_ = soup.find('div', attrs={'class': 'tit clearfix'})
html_ = soup.find_all('img')
# for each in html_: # each的属性为Tag
# img.append(str(each['src']))
for item in html_: # 这里的查找有一点小麻烦,因网站而异
attrs = item.attrs
for attr in attrs:
if attr == 'data-original':
print(item[attr])
img.append(str(item[attr]))
def get_png(list):
num = 1
for item in list: # 循环将图片下载
item_ = get_url(item)
print('下载第' + str(num) + '张图片')
num = num + 1
with open(str(num-1) + '.jpg', 'wb') as f:
f.write(item_)
get_html(get_url(url))
get_png(img)
print('下载完成')
输出结果:
http://pic1.win4000.com/wallpaper/2020-08-12/5f33b09e20c2c_270_185.jpg
http://pic1.win4000.com/wallpaper/2020-08-12/5f33ae3f6424d_270_185.jpg
……
http://pic1.win4000.com/tj/2020-07-20/5f1559a679864.jpg
http://pic1.win4000.com/tj/2020-07-27/5f1e36eedde6c.jpg
下载第1张图片
下载第2张图片
下载第3张图片
下载第4张图片
下载第5张图片
……
下载第25张图片
下载第26张图片
下载第27张图片
下载第28张图片
下载第29张图片
下载完成
最后我们就可以在这个.py文件的所在文件夹中看到这些图片啦:
但是这里有一个问题,在很多图片网站中,图片是一张一张翻页加载的,我们不能在一个网页中找到我们所需要的图片该怎么办呢?
这里有两种方法:
1.我们通过构造相关网页的地址(存储在列表中)(一般是有规律的)再循环将地址输入,获取每个网页上存在的图片的真实地址进行下载
2.我们使用selenium真实的加载一个网页,然后使用它来实现自动翻页,帮助我们获得每个图片的真实地址进行下载
我们先使用第一种方法实现翻页下载
基本思路跟上面的一样,只是我们需要加入一个构造网址的函数
我们可以发现这些连续图片的网址是有规律的
会在最后给这些图片加上一个编号,所以我们只需要构造最后一部分即可
import requests
from bs4 import BeautifulSoup
url = 'http://www.win4000.com/wallpaper_detail_165116_'
img = []
http = []
num = 2
def get_url(url):
"""获取网址解析"""
req = requests.get(url)
return req.content
def get_img(url):
"""获取图片的地址"""
soup = BeautifulSoup(get_url(url), 'html.parser')
html = soup.find('div', attrs={
'class': 'pic-meinv'}).find_next('img')
html_ = html['src']
img.append(str(html_))
# 新增构造地址函数
def get_http(url, num):
"""获取图片所在网页的地址"""
http.append(url + '.html') # 第一个地址没有加数字
while num <= 8: # 加了个图片下载的限制防止函数陷入死循环
http.append(url + str(num) + '.html') # 在末尾添加数字即可完成构造
num = num + 1
for each in http:
print(each)
def download_img(img, http):
"""下载图片"""
for each in http:
get_img(each)
count = 29
for item in img:
with open(str(count) + '.png', 'wb') as f:
f.write(get_url(item))
count = count + 1
print('下载完第'+str(count)+'张图片')
get_http(url, num)
download_img(img, http)
print('下载完成')
输出结果:
http://www.win4000.com/wallpaper_detail_165116_.html
http://www.win4000.com/wallpaper_detail_165116_2.html
http://www.win4000.com/wallpaper_detail_165116_3.html
http://www.win4000.com/wallpaper_detail_165116_4.html
http://www.win4000.com/wallpaper_detail_165116_5.html
http://www.win4000.com/wallpaper_detail_165116_6.html
http://www.win4000.com/wallpaper_detail_165116_7.html
http://www.win4000.com/wallpaper_detail_165116_8.html
下载完第30张图片
下载完第31张图片
下载完第32张图片
下载完第33张图片
下载完第34张图片
下载完第35张图片
下载完第36张图片
下载完第37张图片
下载完成
同样我们也可以看到这些下载好的图片已经在我们的文件夹中啦!
基本思路:
我们需要四个函数:
get_url 为我们下载图片提供数据来源
catch_http 使用selenium实现自动翻页来动态加载出每个图片的实际网址
get_img 将我们获得网址存入列表中
download_img 将列表中的地址取出完成下载
下面是实例代码展示:
import requests
from selenium import webdriver
url = 'http://www.win4000.com/wallpaper_detail_165116_'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/47.0.2526.80 Safari/537.36 '
}
img = [] # 存储图片的实际地址
num = 0
def get_url(url):
"""获取网页内容"""
req = requests.get(url, headers=headers)
req.raise_for_status()
req.encoding = 'utf-8'
# print(req.status_code) # 打印200说明获取成功
return req.content # 返回下载图片的内容
def catch_http():
global num
driver = webdriver.Chrome() # 启动webdriver
driver.implicitly_wait(10)
driver.get(url + '.html')
while num < 8: # 提供限制以防函数陷入无限循环
get_img(driver) # 调用函数获得图片地址存储列表
driver.implicitly_wait(5)
num = num + 1
tar = driver.find_element_by_link_text('下一张')
# print(tar.get_attribute('href'))
tar.click() # 单击文本为下一张的元素,实现翻页
def get_img(driver):
"""获取图片的地址"""
img_tar = driver.find_element_by_class_name('pic-large')
tar = img_tar.get_attribute('src') # 获取属性内容
# print(str(tar))
img.append(str(tar)) # 在图片列表中添加图片地址
def download_img(img):
"""下载图片"""
count = 1
for item in img:
with open(str(count) + '.png', 'wb') as f:
f.write(get_url(item))
print('下载完第' + str(count) + '张图片')
count += 1
catch_http()
download_img(img)
print('下载完成')
实际输出:
下载完第1张图片
下载完第2张图片
下载完第3张图片
下载完第4张图片
下载完第5张图片
下载完第6张图片
下载完第7张图片
下载完第8张图片
下载完成
都看到这里了,点个赞呗