Python制作采集直播弹幕小软件

嗨喽,大家好呀~这里是爱看美女的茜茜呐

环境使用:

Python 3.8
Pycharm

模块使用:

import requests >>> pip install requests
import time
import tkinter

更多精彩机密、教程,尽在下方,赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可


爬虫实现流程:

一. 数据来源分析

1. 明确需求: 明确采集的网站以及数据
    - 网址: https://live.**.com/697
    - 数据: 弹幕数据 昵称 内容 发送时间
2. 抓包分析: 分析这些数据在什么地方 <具体请求那个链接地址可以获得>
    数据包链接: https://api.live.bilibili.com/xlive/web-room/v1/dM/gethistory?roomid=1440094&room_type=0

二. 代码实现步骤

1. 发送请求, 模拟浏览器对于url地址发送请求
2. 获取数据, 获取服务器返回响应数据
3. 解析数据, 提取 昵称 内容 时间
4. 保存数据, 保存文件中

安装模块前提:

1. 有python环境 <解释器>
2. 设置好环境变量 
3. win + R 输入cmd 输入安装命令 pip install requests
4. 安装好模块未使用灰色状态 <不是报错>

代码展示

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 导入数据请求模块 <需要安装>
import requests
# 导入csv模块 <内置模块>
import csv
# 导入时间模块 <内置模块>
import time
# 导入正则表达式模块 <内置模块>
import re
# 导入Gui界面开发模块 <内置模块>
import tkinter as tk


def get_content():
    # 获取输入框的内容
    link = text_va.get()
    # 模拟浏览器 <请求头>
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
    }
    # 发送请求
    html_data = requests.get(url=link, headers=headers).text
    # 提取房间ID
    room_id = re.findall('"room_id":(\d+),', html_data)[0]
    name = re.findall('"uname":"(.*?)",', html_data)[0]
    print(room_id, name)
    """创建文件对象"""
    csv_file = open(f'{name}.csv', mode='w', encoding='utf-8', newline='')
    csv_writer = csv.DictWriter(csv_file, fieldnames=['昵称', '弹幕', '时间'])
    csv_writer.writeheader()
    """1. 发送请求"""
    # 循环请求API接口数据 循环一次采集10条弹幕 <不要过快>
    for page in range(1, 21):
        # 请求链接
        url = f'https://api.live.***.com/xlive/web-room/v1/dM/gethistory?roomid={room_id}&room_type=0'
        # 发送请求 -> <Response [200]> 响应对象
        response = requests.get(url=url, headers=headers)
        """2. 获取响应json数据"""
        json_data = response.json()
        """3. 解析数据"""
        # 键值对取值: 根据冒号左边的内容[],提取冒号右边的内容[]
        for index in json_data['data']['room']:
            name = index['nickname']
            text = index['text']
            timeline = index['timeline']
            """保存数据 <表格文件 csv/Excel> """
            # 创建字典
            dit = {
                '昵称': name,
                '弹幕': text,
                '时间': timeline,
            }
            # 写入数据
            csv_writer.writerow(dit)
            time.sleep(0.5)
            print(name, text, timeline, sep=' | ')


# 实例化界面 tk公式 要实现什么样效果, 使用什么样的公式
root = tk.Tk()
# 设置界面大小 宽 高 边距x 边距y
root.geometry('500x80+200+200')
# 设置界面标题
root.title('弹幕软件 v1.0')
# 设置内部窗口
frame = tk.Frame()
frame.pack(pady=20) # 布局到界面 默认是上下
# 设置标签文本
tk.Label(frame, text='直播地址:', font=('微软雅黑', 15)).pack(side=tk.LEFT)
# 可变变量接收输入框内容
text_va = tk.StringVar()
# 设置输入框
tk.Entry(frame, relief='flat', textvariable=text_va).pack(side=tk.LEFT, padx=10)
# 设置按钮 绑定事件
tk.Button(frame, text='确定', font=('微软雅黑', 12), relief='flat', command=get_content).pack(side=tk.LEFT)

# 展示界面
root.mainloop()

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ,有学习到一点知识~

躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀

你可能感兴趣的:(python爬虫,python,开发语言,pycharm,爬虫)