Python爬取煎蛋网多页的图片

使用requests和re模块来实现目的
以爬取煎蛋网里面的随手拍的图片为例
网址:http://jandan.net/ooxx

爬取一页的图片相对比较简单,直接使用这个网址,对里面的源代码进行分析和检索,使用re模块里面的正则表达式进行对目标图片的链接进行提取,这样就可以把单页的图片下载并保存起来。

如果要爬取多页的图片的话,这要在原来的基础上进行一个for each in range(page)的循环,即可爬取多页的图片。

这时我们要分析一下每一页的网址有什么变化,找出相同和不同之处。
例如:
http://jandan.net/ooxx/page-10#comments
http://jandan.net/ooxx/page-9#comments
这两个分别是第9页和第10页的图片网址,不难看出这两个网址,只有page-后面的数字变化,分别对应不同的页数,找到这个规律,我们就可以实现爬取多页的图片。

定义 url = “http://jandan.net/ooxx/page-%s#comments”%page (page为页数)

下面以爬取10页的图片为例
源代码如下:

import requests
import re

def open_url(url):
    headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'}
    response = requests.get(url,headers=headers)
    return response.text

def find_inf(html,page):
    p = r'img src="([^"]+\.jpg)"'
    imglist = re.findall(p,html)
    i=1
    for each in imglist:
        print(each)
        res = requests.get('http:'+each)
        with open('C:/picture/%s-%s.jpg'%(page,i),'wb') as f: 
            f.write(res.content)
            i +=1
            f.close()

def main(page):
    url = "http://jandan.net/ooxx/page-%s#comments"%page
    html = open_url(url)
    find_inf(html,page)

if __name__ == '__main__':
    for each in range(1,11):
        main(each)

爬取图片如下:

后面还有图片就不一一列举了。
好了,这样就可以实现爬取煎蛋网多页的图片了,再也不用一张一张地下载了,直接批量下载,既快速又便捷。

你可能感兴趣的:(python爬虫,Python,爬取图片,煎蛋网,多页图片)