自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天

本次干货内容给大家呈现的利用爬虫获取海量美女图片。不知道大家有没有上过斗鱼直播、虎牙直播,直播室里面美女姐姐可是比比皆是。

有很多美女姐姐的图片做桌面,即使加班也是高兴的!

自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第1张图片

好啦!先唠叨一下爬虫的步骤:

  1. 获取请求链接,并判断响应结果的类型

  2. 使用requests发出请求,获取响应结果

  3. 解析响应结果

  4. 将响应的结果做持久化保存

按照步骤我们第一步是获取链接,我们以虎牙直播为例,进入首页自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第2张图片

然后选择更多,但是如果你需要的在上面可以直接选择也可以,比如王者荣耀、英雄联盟等,我们选择【颜值】,进入颜值页面自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第3张图片

 自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第4张图片

来到颜值页面后我们F11打开开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片

将页面拉到底部,进行翻页。发现地址栏没有变化还仍然是:https://www.huya.com/g/2168

如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第5张图片

点开上图中圈起来的链接,发现在response处是一个json返回结果自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第6张图片

于是我们把此链接拷贝出来,继续分析:

1.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=1

2.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=2

3.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=3

4.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=4

这时我们兴奋了,因为发现了规律,链接其他的没有发生变化,唯独在最后位置page发生了改变。分别跟页码数对应上了。

于是我们就有了下面的代码:

# 获取响应结果json并解析
def get_parse_json(url):
    pass

if __name__ == '__main__':
    # 自动创建huya文件夹
    if not os.path.exists('huya'):
        os.mkdir('huya')
    # 假设我们要爬取的是3页的主播封面图
    for i in range(1,4):
        url = 'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page='+str(i)
        get_parse_json(url)

现在我们就来到了步骤二,使用requests发出请求了。

# 导入requests
import requests  # 爬虫


# 模拟浏览器来访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}
def get_parse_json(url):
    # 开始爬取虎牙的妹子
    response = requests.get(url, headers=headers)
    content = response.text  # 大家注意此处没有使用json()直接获取,是因为json字符串前面有一长串字符串
    # 使用切片截取字符串
    result = content[len('getLiveListJsonpCallback('): -1]
    # 查看截取结果
    print(result)
    
if __name__ == '__main__':
    # 假设我们要爬取的是10页的主播封面图
    for i in range(1,11):
        url = 'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page='+str(i)
        get_parse_json(url)

获取结果截图:

图片

我们发现成功获取了3条json结果,接下来就是分析和解析数据了。

因为json内容很长,我们不便分析它们,所以我们使用json的格式化工具完成:https://www.bejson.com/

点开格式化工具的链接,将json数据复制到上面,进行格式化查看会更加清晰。自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天_第7张图片

通过分析我们发现所有的数据都在data-->datas中,而图片在screenshot对应的值上。

所以我们开始解析,先将json字符串使用json.loads()进行转换,得到的是一个字典,然后层层的获取数据。

解析的代码是:

import json
# json解析: json字符串 => python字典
result2 = json.loads(result)

# 当前页的所有妹子
meizi_list = result2['data']['datas']
for meizi in meizi_list:
    nick = meizi['nick']  # 昵称
    img = meizi['screenshot']  # 图片url

我们虽然提取出来了图片的url,但是还没有保存到本地。所以接下来要做第四步持久化保存了。

因为我们下载的仅仅是图片,所以直接使用request.urlretrieve实现就可以

from urllib from request
request.urlretrieve(img, f'huya/{nick}.png')
request.urlcleanup()  # 清空缓存
print(f'{nick}.png 下载完成!')

因此最后的完整代码是:

# 导入requests
import time
import json
from urllib import request
import ssl
import requests  # 爬虫

# 模拟浏览器来访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}
# ssl._create_default_https_context = ssl._create_unverified_context

def get_parse_json(url):

    # 开始爬取虎牙的妹子
    response = requests.get(url, headers=headers)
    content = response.text  # 大家注意此处没有使用json()直接获取,是因为json字符串前面有一长串字符串
    # 使用切片截取字符串
    result = content[len('getLiveListJsonpCallback('): -1]
    # json解析: json字符串 => python字典
    result2 = json.loads(result)

    # 当前页的所有妹子
    meizi_list = result2['data']['datas']
    for meizi in meizi_list:
        nick = meizi['nick']  # 昵称
        img = meizi['screenshot']  # 图片url

        try:
            # 这句话是在下载图片的时候有可能会有证书认证问题,如果没有可以不加
            ssl._create_default_https_context = ssl._create_unverified_context
            request.urlretrieve(img, f'huya/{nick}.png')
            request.urlcleanup()  # 清空缓存
            print(f'{nick}.png 下载完成!')
        except:
            print('error:', nick)


if __name__ == '__main__':
      # 自动创建huya文件夹
    if not os.path.exists('huya'):
        os.mkdir('huya')
        
    # 假设我们要爬取的是10页的主播封面图
    for i in range(1, 3):
        url = 'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=' + str(
            i)
        get_parse_json(url)
        time.sleep(5)

在上面的代码中我们我们使用过单线程完成的,代码中加完time.sleep(5)每页会有5秒的延迟。

当然要想速度更快可以使用多进程完成:multiprocessing,所以代码我们可以升级成:

# 导入requests
import requests  # 爬虫
import json  # json解析
import os  # 自动创建文件夹
from urllib import request  # 下载图片
import multiprocessing  # 多进程爬取多页
import ssl
# 模拟浏览器来访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}

def get_huya_meizi(page=1):
    '''
    :param url: 下载路径
    :return:
    '''

    # 开始爬取虎牙的妹子
    response = requests.get(url, headers=headers)
    content = response.text
    result = content[len('getLiveListJsonpCallback('): -1]

    # json解析: json字符串 => python字典
    result2 = json.loads(result)

    # 当前页的所有妹子
    meizi_list = result2['data']['datas']
    for meizi in meizi_list:
        nick = meizi['nick']  # 昵称
        img = meizi['screenshot']  # 图片url

        # 下载图片,并以昵称作为图片名
        try:
            ssl._create_default_https_context = ssl._create_unverified_context
            request.urlretrieve(img, f'huya/{nick}.png')
            request.urlcleanup()  # 清空缓存
            print(f'{nick}.png 下载完成!')
        except Exception as e:

            print('error:', e)


if __name__ == '__main__':
    # 自动创建huya文件夹
    if not os.path.exists('huya'):
        os.mkdir('huya')

    # 获取虎牙妹子
    # 使用多进程
    for i in range(1, 3):
        url = 'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=' + str(
            i)
        # 创建进程来同时获取多页数据
        multiprocessing.Process(target=get_huya_meizi, args=(url,)).start()

斗鱼直播也是这样子哦!大家自己抓紧时间试试吧!当然如果感兴趣可以爬点其他的。

对爬虫感兴趣的小伙伴走起吧!

你可能感兴趣的:(Python,爬虫,python,开发语言,后端,数据挖掘,数据分析)