python爬取元气大咖福利妹子图，好不容易遇到一个几乎没有反爬的福利妹子

先来看看这些妹子符不符合你的胃口，然后再决定盘不盘她，嘻嘻，

请看：

 

 

 

接着分析一些链接的规律：

 

 

 

接着我们就开始盘她吧：

 

代码如下：

# 使用xpath提取响应的文章链接和图片链接
import requests
import re

class Yuanqi(object):
    def __init__(self):
        self.url = "http://www.iyuanqi.com/flist/26103/new/1.html"
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        }

    def send_all_title(self):
        response =  requests.get(self.url, headers=self.header)
        res_html = response.content.decode("utf-8")
        return res_html

    def parse_title_url(self, res_html):
        re_obj = re.compile('')
        url_list = re_obj.findall(res_html)
        return url_list

    def send_img_url(self, url):
        res_img_html = requests.get(url, headers=self.header)
        img_re_obj = re.compile('
")

    def run(self):
        # 发送基本请求，获取文章列表
        res_html = self.send_all_title()

        # 先解析获取文章链接
        url_list = self.parse_title_url(res_html)

        # 遍历文章链接发送文章请求
        for url in url_list:
            end_url = "http://www.iyuanqi.com" + url
            img_url_list = self.send_img_url(end_url)
            for imgurl in img_url_list:
                # 请求图片的链接并保存
                self.save_img(imgurl)


if __name__ == '__main__':
    Yuanqi().run()

 

我的python-spider仓库，里面收集了我学习python爬虫的一些项目和福利哦，

Github地址：https://github.com/Sjj1024/Python-spider