B站视频爬取学习(Python)
前言
仅用于交流学习，不可用于商业用途开发环境，不可非法测试。
(非大会员，不影响版权）
分析
我们要爬取的是视频，那肯定要爬取的是两样东西，视频跟音频。
在开始爬取的时候我们先要对网站进行一些信息收集，方便后面的爬取。
收集视频，音频，可以搜索mp4，m3u8，m4s，m4a等。
开始实践
先想一下自己喜欢什么类型的视频，然后去搜索，搜索出来的视频就是我们要爬取的。
我们先在python中发送请求，看看有没有我们想要的数据
import requests
import re
# 爬取多视频源网站
url = 'https://search.bilibili.com/all?keyword=****'
# 认证
header = {
"Referer": "https://www.bilibili.com/", # 防盗链，用于告诉服务器我是从哪个链接来的。
"user-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62",
"cookie": "*******"
}
response = requests.get(url, headers=header).text
print(response)（这个认证，一般就写user-Agent,如果放回的数据中没有你想要的，是其他的内容，可以 试着多加上几个认证）
这里放回的数据中刚好有我们想要的数据
我们先把视频的地址给过滤出来，因为我们现在是在一个搜索页面上，还没有到看视频的网页上。
url_s = re.findall('', response)
这边会发现有一些地址是重复的，我们观察一下，再过滤一遍
url_s = re.findall('', response)[1::2]我们再后面加上[1::2]作为切片，切分开来
现在这是一个数组，我们遍历出来，然后一个一个请求
for url_s in url_s:
url = f'http:{url_s}'
response_s = requests.get(url, headers=header).text我们现在开始过滤出视频的名称
name = re.findall('
这边为什么在后面加上[0],因为过滤出来的名称还是数组，是数组的话，我们后面可能还要遍历一次，我[0]就直接取数组中第一个数据，然后刚好一个数组里面就只有一个数据
接下来我们要的是视频和音频的地址
经过在源码一顿瞎找，最后找到这一串
rp = re.findall('', response_s)
print(rp)
这里面存在视频跟音频的地址，我们过滤出来
r_url = re.findall('"video":.*?"id":32,"baseUrl":"(.*?)"', str(rp))[0] # 视频地址
r_url2 = re.findall('"audio":.*?"id":30280,"baseUrl":"(.*?)"', str(rp))[0] # 音频地址·现在信息分析的差不多了，视频地址跟音频地址都拿到了
接下来就是请求了
res1 = requests.get(url=r_url, headers=header).content # 视频
res2 = requests.get(url=r_url2, headers=header).content # 音频把视频跟音频分别保存在一个文件中
os.mkdir(f'D:/python1/py/case_data/video/{name}')
with open(f'路径/{name}/1' + '.mp3', mode='wb') as f:
f.write(res2)
with open(f'路径/{name}/2' + '.mp4', mode='wb') as f:
f.write(res1)我们查看一下运行查看一下文件中有没有文件，能不能正常打开
接下来我们使用工具ffmpeg合并视频跟音频
工具下载地址：Download FFmpeg
简单的学一下这个工具的使用，记住配置一下环境变量
我们利用os模块执行系统命令，将视频与音频合并
os.system(f'ffmpeg -i "地址/{name}/1.mp3" -i "地址/{name}/2.mp4" -acodec copy -vcodec copy 地址/{name}/{name}.mp4')这样就合并成功了，先要的视频也能正常播放，如果有问题可以试着看看是那里出问题了。
总结
代码还是蛮简单的，信息收集的到位，后续写代码就不会太麻烦
本文只适合学习