【python实战系列】批量下载喜欢的漫画（七）
最近一段时间迷上了看漫画，所以一不小心就拖更，哈哈，漫画的魅力实在是太大了，没办法，我也控几不住我记几啊。
不过最近家中网络老是不好，严重影响我看漫画的心情，于是就想着提前把漫画在公司下载下来，等到了没网或者网络不好的时候再看。但一个个下载漫画太慢了，有下载这功夫，我还不如直接看完。人呐，就是一个懒惰而又矛盾的生命体啊。没办法，只能另外想办法了。
虽说生活已经如此地艰难，但我还是想到了办法，可以通过一个程序对漫画进行批量下载，并将每个系列归类到各个文件夹中。
说干就干，我们先进入网站利用chrome的强大审查元素的工具对网站的结构进行审查。
先获取一个系列的名称
title = result.select('.listview')[0].text
通过上图获取系列中每篇漫画的地址和标题，我们就可以通过程序进入该链接，获取我们需要的数据，当然，上面只是相对路径，我们可以通过域名+该链接 拼接成完整的路径。
linkAList = result.select('ul li h3 a')接下来就是漫画正文部分了，我们继续用chrome对正文部分的图片进行审查
虽说我并不知道该网站的漫画为啥显示不出来，不过图片资源还是能访问的，通过上图，我们可以找到正文中漫画图片的定位，我们可以通过元素定位获取到对应的图片列表，并对其进行下载。
imgList = result.select('.article-content img')urllib.request.urlretrieve(img_url, titlePath + "/%02d.jpg" % titleID)虽说程序大致已经完成了，不过还有一些问题，就是一般漫画都会有分页，我们需要获取所有分页的漫画。这就需要接着对分页的元素进行审查，通过观察发现，每翻一页，对应的url也会发生变化，既：
也就是说我们只需要将原地址的基础上加上 "_页码"，即为分页后的数据。
这样，分页后的数据也解决了。不过还有一个问题：
我们不知道一个漫画一共有多少页？
不过这个问题也难不倒我，我们可以通过获取分页的元素进行动态获取分页的总大小。
pageLiArr = result.select(".pagination-wrapper .pagination li a")
print('访问分页的链接地址：' + titleUrl)
img_cover(titleUrl, titlePath, titleID)
for pageLi in pageLiArr[3:(len(pageLiArr) - 1)]:
pageNo = pageLi.text
tempUrl = titleUrl.replace('.html', '_' + pageNo + '.html')
print('访问分页的链接地址：' + tempUrl)
img_cover(tempUrl, titlePath, titleID)接下来贴一下完整的代码:
import requests
from bs4 import BeautifulSoup
import urllib.request
import os
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
comicPath = 'F:\\test\\comic\\'
domainUrl = 'http://www.gllmh.com/'
def getRespone(url):
req_header = {
'User-Agent': user_agent
}
response = requests.get(url, headers=req_header)
page = response.text
page = page.encode('ISO-8859-1').decode('gbk', errors='ignore')
result = BeautifulSoup(page, 'lxml')
response.close()
return result
def img_cover(url, titlePath, titleID):
try:
result = getRespone(url)
imgList = result.select('.article-content img')
for img in imgList:
# 拼接路径
img_url = img['src']
urllib.request.urlretrieve(img_url, titlePath + "/%02d.jpg" % titleID)
titleID = titleID + 1
print("下载中....，进度:%d" % (titleID / len(imgList) * 100) + "%")
except Exception as e:
print("页面访问失败，继续访问下一个...")
print(e)
def downImgUrlList(titleUrl, titlePath, titleID):
result = getRespone(titleUrl)
pageLiArr = result.select(".pagination-wrapper .pagination li a")
print('访问分页的链接地址：' + titleUrl)
img_cover(titleUrl, titlePath, titleID)
for pageLi in pageLiArr[3:(len(pageLiArr) - 1)]:
pageNo = pageLi.text
tempUrl = titleUrl.replace('.html', '_' + pageNo + '.html')
print('访问分页的链接地址：' + tempUrl)
img_cover(tempUrl, titlePath, titleID)
def downComicByTypeUrl(url):
result = getRespone(url)
title = result.select('.listview')[0].text
linkAList = result.select('ul li h3 a')
print(title)
typePath = comicPath + title
if not os.path.exists(typePath):
os.mkdir(typePath)
print('-' * 50)
for linkA in linkAList:
titleUrl = domainUrl + linkA['href']
titlePath = typePath + '/' + linkA['title'] + '/'
if not os.path.exists(titlePath):
os.mkdir(titlePath)
print('正在下载:' + linkA['title'] + ':' + titleUrl)
titleID = 0
downImgUrlList(titleUrl, titlePath, titleID)
if __name__ == '__main__':
# "http://www.gllmh.com/kbmh/xt300/"
downComicByTypeUrl('http://www.gllmh.com/kbmh/xt300/')
运行程序：
接下来我们就看一看我们的下载后的漫画：
这样就大功告成了，有兴趣的同学也可以去试一试，这样看漫画还是挺方便的。
喜欢本文的话，可以关注一下公众号，每天定时更新一篇python学习日记，让我们一起成长！
项目地址：https://github.com/qblank/python-study.git