python 批量下载图片

背景

今天TOP100全球软件案例研究峰会结束，同事共享了会上的一些ppt，同时，top100的公众号也共享了ppt出来。那么这个时候问题来了，我不太想在线去看这些ppt，我想将这些图片都下载下来查看，可以吗？答案当然是可以的啦。我们还是采用比较简单的python来实现吧

分析

---

首先我们看看top100页面的情况：

点击查看课件按钮以后就可以进入到ppt详情页面了。我们看看查看课件这个按钮的源代码

发现有一个paikeid以及一个courseid，其实在看看下面的js代码就可以知道这两个值就是用来进入ppt详情页的值了。

$(".coursebutton").click(function(){
        var courseid = $(this).attr('courseid');
        var paikeid = $(this).attr('paikeid');
        window.location = '/index.php/Mpd/course?courseid='+courseid+"&paikeid="+paikeid;
 });

以上的代码就不难看出了，下来我们看看ppt详情页的情况吧。

这个还有一个比较难的地方以为，图片并不是一次行加载出来，而是需要点击加载更多以后才会显示。那有什么好的方法吗？有的。我们发现上图中图片在javascript代码中也存在，那么我们完成可以通过正则表达式过滤出第一张，并且图片的名称都是有规律的。这对我们请求对图片更是有帮助了。虽然我们还是不能解决图片有多少张，但是我们可以尝试去请求。只要http请求异常我们就当做是ppt的最后一张图片了。分析这么多，那就开始实现吧。

实现

---

这里我们就直接贴源代码吧

# -*- coding: utf-8 -*-
from myhttp import MyHttpRequest
from bs4 import BeautifulSoup
import re,os

base_url = "http://api.buzz.cn/index.php/Top100/caseForWeChat"
course_detail_url = "http://api.buzz.cn/index.php/Mpd/course?courseid=COURSE&paikeid=PAIKEID"
image_url = "http://source.buzz.cn/m_KEY_NUM.png"

#MyHttpRequest是自己封装的一个http请求
http_request = MyHttpRequest()
page_content =  http_request.get_response(base_url).read().decode('utf-8')
soup = BeautifulSoup(page_content)

#这里是获取到课程标题的列表，但是这里返回的不是一个list注意下就可以
course_titles = soup.find_all('h2')

#遍历所有的课程按钮
for i,course in enumerate(soup.find_all(class_="coursebutton")):
    course_soup = BeautifulSoup(str(course))
    course_detail_item_url = course_detail_url.replace('COURSE',course_soup.a['courseid'])
    course_detail_item_url = course_detail_item_url.replace('PAIKEID',course_soup.a['paikeid'])
    #print course_detail_item_url
    page_content =  http_request.get_response(course_detail_item_url).read().decode('utf-8')
    #使用正则过滤出图片的名称
    p = re.compile(r'm_(.*?)_(.*?)\.png')
    course_id =  p.findall(page_content)[0][0]
    image_key_url = image_url.replace('KEY',course_id)
    dir_name = course_titles[i].string
    for i in range(1,100):
        #以课题的名称作为生成的目录，并在目录下下载图片，其实这个目录的判断应该放在for循环外面。
        if not os.path.exists(dir_name):
            os.mkdir(dir_name)
        image_item_url = image_key_url.replace('NUM',str(i))
        try:
            image_content = http_request.get_response(image_item_url).read()
        except:
            break
        image_file = open('./'+dir_name+'/'+course_id+'_'+str(i)+'.png','wb')
        image_file.write(image_content)  

结束语

---

以上就是基本的实现了，其实还是挺简单的。谨记！多学习多动手。