【Python爬虫】爬取美女图片存入到动态的文件夹中

 

 最近在学习python爬虫相关的内容，看到博客主橘子派_司磊的一篇文章后，自己动手操作，发现有些不足的地方，自己重新重写了一下代码，基本达到了自己的要求。

 

参考了：http://blog.csdn.net/sileixinhua/article/details/78816683

 

准备工作

1.电脑下载python语言

 可以自己百度下载地址和如何安装

 

2.通过cmd命令行方式安装python库

 

pip3 install BeautifulSoup4
pip3 install requests
pip3 install lxml

被爬目标网页结构分析

 

目标网址：http://www.xingmeng365.com/

爬虫需要抓取的页面

 

 

美女主页

http://www.xingmeng365.com/articles.asp?id=2

然后我们发现每个美女都有多个图片，第二张图片的路径为：

http://www.xingmeng365.com/articles.asp?id=2&mm=2

我们猜想第一张是否也可以这种方式表示，结果发现是一样的

http://www.xingmeng365.com/articles.asp?id=2&mm=1与

http://www.xingmeng365.com/articles.asp?id=2显示的图片是一样的。

所以我们可以通过参数化循环遍历所有链接。

 

 

此外我们发现每个美女有多个图片，所以想要每个美女一个文件夹，以页面标题创建对于文件夹。

 

 

爬虫获取HTML页面title信息：

 

爬虫获取HTML页面图片信息：

 

代码分析

getEachBeauty.py

 

 

# 2018年1月21日 13点00分
# 作者：cacho_37967865
# 爬虫：抓美女套图
# 目标网址：http://www.xingmeng365.com/

from bs4 import BeautifulSoup
import requests
import os
import urllib.request

num = 1
id = 1

#目前网站id最大为759
while(id <= 759):
    p = 1
    while(p<=2):
        #headers设置爬虫
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
        #通过参数id控制美女，参数p控制第几页
        url = requests.get('http://www.xingmeng365.com/articles.asp?id='+str(id)+'&mm='+str(p), headers=headers)
        print("当前爬取的网址为："+url.url)
        #如果网页设置了charset=gb2312，那么需要设置编码方式为gb2312，否则乱码
        url.encoding = 'gb2312'
        html_doc = url.text
        # 此处用url不带".text"的话报错，Python: object of type 'Response' has no len()
        # 错误解决：https://stackoverflow.com/questions/36709165/python-object-of-type-response-has-no-len
        soup = BeautifulSoup(html_doc,"lxml")
        for link in soup.find_all('img'):
            #通过图片路径我们发现每页只有一张图片满足要求，/upload/image可以筛选出我们要的图片
            if "/upload/image" in link.get('src'):
                image_url = link.get('src')
                #  id=7以前，图片的路径是../../upload/image/20170811/20170811203590079007.jpg
                 # id=7 以后为/upload/image/20170811/20170811210596789678.jpg
                if id <= 6:
                    image_url = "http://www.xingmeng365.com/" + image_url[6:]
                else:
                    image_url = "http://www.xingmeng365.com/" + image_url[1:]   # id=7以后，[6:]改为[1:]
                # 获取标题的内容
                FileName = soup.title.get_text()
                #切换到文件路径，在此路径创建一个新目录
                os.chdir('D:\BeautifulGirls')
                image_path = 'AllPhoto/' + str(FileName)
                if not os.path.exists(image_path):
                    os.makedirs(image_path)
                #切换到新的目录，图片才能存入到新创建的目录下
                os.chdir(image_path)
                print("开始下载第"+str(num)+"张图片："+image_url)
                #可以自定义命名图片名称，好检索
                file = open(str(id)+'.'+str(p)+'-'+str(num)+'.jpg',"wb")
                req = urllib.request.Request(url=image_url, headers=headers)
                try:
                    image = urllib.request.urlopen(req, timeout=20)
                    pic = image.read()
                except Exception as e:
                    print("第"+str(num)+"张图片访问超时，下载失败："+image_url)
                    continue
                file.write(pic)
                print("第"+str(num)+"张图片下载成功")
                #close() 方法用于关闭一个已打开的文件。关闭后的文件不能再进行读写操作
                file.close()
                num = num + 1
        p = p + 1
    id = id + 1