在前面的分享中,我们已经知道了如何利用PhantomJS来下载网页中动态加载的图片。本次分享的目标是,下载动漫网页中的漫画,示例网址如下:http://comic.kukudm.com/comiclist/43/ .
分析上面的网页,如果要将页面中的漫画都下载下来,那么首先必须要分析每卷漫画的网址,具体代码如下,其中url_lst为每卷漫画的网址,file_lst为每卷漫画的名字。
def get_url_lst(url):
url_lst = []
file_lst = []
# 讀取網頁
html = urllib.request.urlopen(url)
content = html.read()
html.close()
#網頁解析
soup = BeautifulSoup(content, "lxml")
table = soup.find_all(id="comiclistn")
for tr in table[0].children:
count = 0
for x in tr:
if isinstance(x, bs4.element.Tag):
if count == 0:
file_lst.append(x.string)
if count == 1:
url_lst.append(x['href'])
count += 1
return url_lst, file_lst
接着需要对每卷漫画进行下载,可以利用for循环遍历url_lst.利用PhantomJS先分析出每卷漫画总的图片数,利用网址的变化规律(就是网址前面的部分不变,数字部分即为图片的编号)去下载每一页的漫画。还有一个比较重要的问题,就是如何解决urlretrieve下载不完全的问题,这个已在上一篇的分享中讲过。具体实现的代码如下:
for i in range(len(url_lst)):
#獲取這一頁總的圖片數量
browser = webdriver.PhantomJS()
browser.set_page_load_timeout(30) # 最大等待时间为30s
#当加载时间超过30秒后,自动停止加载该页面
try:
browser.get(url_lst[i])
except (TimeoutException,socket.timeout):
browser.execute_script('window.stop()')
source = browser.page_source
total_page = int(source[source.find('共')+1:source.find('页')])
browser.quit()
#创建新文件夹
os.mkdir(os.path.join("J:\\comic",file_lst[i]))
#遍历图片的网址
for j in range(1,1+total_page):
browser = webdriver.PhantomJS()
browser.set_page_load_timeout(30) # 最大等待时间为30s
#当加载时间超过30秒后,自动停止加载该页面
try:
browser.get(url_lst[i].replace('/1.htm','/%d.htm'%j))
except (TimeoutException,socket.timeout):
browser.execute_script('window.stop()')
source = browser.page_source
soup = BeautifulSoup(source,'lxml')
#获取图片的下载地址,设置图片名称
image = soup.find('img')
url =image.get('src')
image_name = "J:\\comic\%s\pic_%d.jpg"%(file_lst[i],j)
#解决下载不完全问题,重新尝试五次后仍未下载完即为下载失败
try:
urllib.request.urlretrieve(url,image_name)
print("%s,第%d张图片下载完毕!"%(file_lst[i],j),time.ctime())
except (socket.timeout, AttributeError):
count = 1
while count <= 5:
try:
urllib.request.urlretrieve(url,image_name)
print("%s,第%d张图片下载完毕!"%(file_lst[i],j),time.ctime())
break
except (socket.timeout, AttributeError):
err_info = 'Reloading for %d time'%count if count == 1 else 'Reloading for %d times'%count
print(err_info)
count += 1
if count > 5:
with open('J:\\comic\%s\error.txt'%file_lst[i],'a') as f:
f.write("%s,第%d张图片下载失败!\n"%(file_lst[i],j))
browser.quit()
这样我们就能愉快地在这个网站上下载自己喜欢的动漫啦~笔者的测试如下:
# -*- coding: utf-8 -*-
import os
import bs4
import time
import socket
import urllib
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
def get_url_lst(url):
url_lst = []
file_lst = []
# 讀取網頁
html = urllib.request.urlopen(url)
content = html.read()
html.close()
#網頁解析
soup = BeautifulSoup(content, "lxml")
table = soup.find_all(id="comiclistn")
for tr in table[0].children:
count = 0
for x in tr:
if isinstance(x, bs4.element.Tag):
if count == 0:
file_lst.append(x.string)
if count == 1:
url_lst.append(x['href'])
count += 1
return url_lst, file_lst
def main():
socket.setdefaulttimeout(45)
url = 'http://comic.kukudm.com/comiclist/43/'
url_lst, file_lst = get_url_lst(url)
print('Begin downloading...',time.ctime())
for i in range(len(url_lst)):
#獲取這一頁總的圖片數量
browser = webdriver.PhantomJS()
browser.set_page_load_timeout(30) # 最大等待时间为30s
#当加载时间超过30秒后,自动停止加载该页面
try:
browser.get(url_lst[i])
except (TimeoutException,socket.timeout):
browser.execute_script('window.stop()')
source = browser.page_source
total_page = int(source[source.find('共')+1:source.find('页')])
browser.quit()
#创建新文件夹
os.mkdir(os.path.join("J:\\comic",file_lst[i]))
#遍历图片的网址
for j in range(1,1+total_page):
browser = webdriver.PhantomJS()
browser.set_page_load_timeout(30) # 最大等待时间为30s
#当加载时间超过30秒后,自动停止加载该页面
try:
browser.get(url_lst[i].replace('/1.htm','/%d.htm'%j))
except (TimeoutException,socket.timeout):
browser.execute_script('window.stop()')
source = browser.page_source
soup = BeautifulSoup(source,'lxml')
#获取图片的下载地址,设置图片名称
image = soup.find('img')
url =image.get('src')
image_name = "J:\\comic\%s\pic_%d.jpg"%(file_lst[i],j)
##解决下载不完全问题,重新尝试五次后仍未下载完即为下载失败
try:
urllib.request.urlretrieve(url,image_name)
print("%s,第%d张图片下载完毕!"%(file_lst[i],j),time.ctime())
except (socket.timeout, AttributeError):
count = 1
while count <= 5:
try:
urllib.request.urlretrieve(url,image_name)
print("%s,第%d张图片下载完毕!"%(file_lst[i],j),time.ctime())
break
except (socket.timeout, AttributeError):
err_info = 'Reloading for %d time'%count if count == 1 else 'Reloading for %d times'%count
print(err_info)
count += 1
if count > 5:
with open('J:\\comic\%s\error.txt'%file_lst[i],'a') as f:
f.write("%s,第%d张图片下载失败!\n"%(file_lst[i],j))
browser.quit()
main()