原创|如何使用Python爬虫优雅的批量下载妹子图？|Python爬妹子

原创文章，转载请注明出处和作者，谢谢。
0X001
如题，本篇文章来讨论一下如何优雅的爬妹子图
实际上，我的代码可以还爬下这个站所有的“帅哥”“卡通”“唯美图片”“风景”“壁纸”“搞笑”栏目下图片。 上图







本文爬的是 美女栏目
来看看我们的目标网站： http://www.mmonly.cc

0X002
嗯，不错。我说的是域名.... {:1_119:}
好，我们来分析一下妹子图所在的地址是
http://www.mmonly.cc/mmtp/  妹子图

http://www.mmonly.cc/mmtp/list_9_773.html
注意上面链接的红色部分，773表示的是最后一页，每页是3*8 =24个图集，或者说是主题。
第一页也就是  http://www.mmonly.cc/mmtp/list_9_1.html
每个图集里面又有很多妹子图

思路 我想的是：
1.获得所有主题页面：用range()函数和format()函数批量生成 773个链接
2.从这773个链接中解析出图集的名字和第一张图片链接并用sqlite3保存起来（mmonly.db）
3.生成图集的所有图片页面链接 例如 
主题：超性感美女潘安安半球浴室写真  对应链接
http://www.mmonly.cc/mmtp/xgmn/5819.html   第一张图
http://www.mmonly.cc/mmtp/xgmn/5819_2.html 第二张图
http://www.mmonly.cc/mmtp/xgmn/5819_3.html 第三张图
一个主题图集有多少张图，就有多少个页面。
4.将所有图片页面链接解析出图片地址和对应的图片标题
5.将所有的图片地址和标题保存在sqlite3中
6.从数据库中获得地址和标题 进行下载

0X004

 代码如下（实现思路 1,2）：

import requests
import sqlite3
import os
from bs4 import BeautifulSoup

firs = 'http://www.mmonly.cc/mmtp/list_9_{}.html'

def found_db():
    con = sqlite3.connect('mmonly.db')
    c = con.cursor()
    sql = '''CREATE TABLE mmonly
           (title TEXT    NOT NULL,
           url TEXT    NOT NULL);'''
    try:
        c.execute(sql)

    except:
        print("Failed")
    else:
        print("OK")

    con.commit()
    con.close()

def insert(a,b):
    con = sqlite3.connect('mmonly.db')
    c = con.cursor()
    sql = '''INSERT INTO mmonly (title,url) VALUES ('%s','%s');''' % (a, b)
    try:
        c.execute(sql)
    except:
        print("Failed")
    else:
        print("***"+ a + "***"+"插入数据库成功")

    con.commit()
    con.close()

def check(fir):
    r = requests.get(fir)
    r.encoding = 'gbk'
    soup = BeautifulSoup(r.text, "html.parser")
    a_soup = soup.select(".title span a")
    for b_soup in a_soup:
        insert(b_soup.text,b_soup.get("href"))
    return 0

def mainfun():
    for i in range(1, 773):
        newurl = firs.format(i)
        check(newurl)
print("***************************************")
print("程序启动成功，程序仅用于学习交流，是否同意？")
print("######################################")
print("请输入yes或no:")
s = input()
if s == 'yes':
    found_db()
    mainfun()
else:
    os._exit(0)

0X005 （实现思路3,4,5）

import requests
import sqlite3
import os
from bs4 import BeautifulSoup

headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}

def found_db():
    con = sqlite3.connect('mmonly_img_url.db')
    c = con.cursor()
    sql = '''CREATE TABLE mmonly
           (title TEXT    NOT NULL,
           url TEXT    NOT NULL);'''
    try:
        c.execute(sql)
    except:
        print("Database creation failure!")
    else:
        print("Database creation success!")

    con.commit()
    con.close()


#查询已经入库的 名字和图集链接
def select():
    con = sqlite3.connect('mmonly.db')
    c = con.cursor()
    sql = "select url from mmonly"
    c.execute(sql)
    res = c.fetchall()
    return res

def fir(sec):
    sec = sec
    r = requests.get(sec,headers = headers)
    r.encoding = "gbk"
    soup = BeautifulSoup(r.text, "html.parser")

    sec_url = []
    c_soup = soup.select(".totalpage")[0].text
    t_text = sec.rstrip(".html") + "_" + "{}" + ".html"
    for a_sec in range(2,int(c_soup) + 1):
        sec_url.append(t_text.format(a_sec))
    sec_url.append(sec)
    return sec_url

def tu(sec):
    r = requests.get(sec, headers = headers)
    r.encoding = "gbk"
    soup = BeautifulSoup(r.text, "html.parser")
    a_soup = soup.select(".big-pic p a img")
    con = sqlite3.connect('mmonly_img_url.db')
    c = con.cursor()
    for b_soup in a_soup:
        a = b_soup.get("src")
        b = b_soup.get("alt")
        sql = '''INSERT INTO mmonly (title,url) VALUES ('%s','%s');''' % (b, a)
        try:
            c.execute(sql)
        except:
            print("***" + b + "***" + "插入失败")
        else:
            print("***" + b + "***" + "插入数据库成功")
        con.commit()
    con.close()
    return "OK"
def mainfun():
    for ress in select():
        for firs in fir(ress[0]):
            tu(firs)

print("***************************************")
print("程序启动成功，程序仅用于学习交流，是否同意？")
print("######################################")
print("请输入yes或no:")
s = input()
if s == 'yes':
    found_db()
    mainfun()
else:
    os._exit(0)

0X006测试环境：
Windows 7 x64 旗舰版
IED ：Pycharm 2017 64位
Python3
使用的库 requests，BeautifulSoup4,sqlite3，os(可选)
windows环境 在安装目录\Scripts  下执行如下命令即可安装

pip install requests
pip install BeautifulSoup4

os，sqlite3 python3已经集成

0X007
至于思路六你们自己实现吧！下载并不难...

Ps：写的爬虫不多，也没有多完善，不足之处比较多，甚喷！


我们的华夏官方群号码 588142303