python爬虫：主播颜值怎么样？我说了算！python实现颜值检测（爬虫篇）

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

一、前言

随着现在直播的兴起，主播这个职业逐渐走入人们的视野。现在各大平台都有当家花旦、一哥、一姐等称号。其实人气是一方面，但是颜值才是硬实力。接下来老师带大家进行主播的颜值检测评分，看看谁是最靓的崽(^▽)

在这里插入图片描述

二、课程亮点

1、爬取主播的直播人脸图
2、调用百度人脸检测开放接口，进行颜值打分
3、查看是否符合你的审美

三、所用到得库

import requests  # 第三方模块
import parsel

四、环境配置

python 3.6
pycharm
requests
parsel
baidu-aip

五、爬虫案例一般步骤(思路):

1.找到数据所在的url地址(系统性分析网页性质)
2.发送网络请求
3.数据解析
4.数据保存

1.确定数据所在链接地址(url地址)

# 1.找到数据所在的url地址(系统性分析网页性质)
url = 'https://www.huya.com/g/2168'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

在这里插入图片描述

2.通过python代码发送网络请求(requests)

注意：处理第二部接收网络请求要先安装一个import requests第三方模块，

# 2.发送网络请求
response = requests.get(url=url, headers=headers)
html_data = response.text  # str
# print(html_data)

3.数据的解析(解析我们要的数据)
注意：处理第三部数据的解析要先安装一个import re内置模块，但是这个不需要我们自己去安装，直接导入就可以了

在这里插入图片描述

# 3.数据解析  xpath
selector = parsel.Selector(html_data)
lis = selector.xpath('//li[@class="game-live-item"]')  # 所有li标签
"""

for li in lis:
    img_title = li.xpath('.//span[@class="avatar fl"]/i/text()').get()  # 主播名字
    img_url = li.xpath('.//a/img/@data-original').get()  # 直播图片地址
    # print(img_title, img_url)

    # 请求图片数据
    img_data = requests.get(url=img_url).content  # 图片数据

4.数据保存

    # 4.数据保存
    # 准备文件名
    file_name = img_title + '.jpg'
    with open('img\\' + file_name, mode='wb') as f:
        f.write(img_data)
        print('正在保存:', file_name)