零基础教学之爬取电影的简单分析和实现（附带python代码）
新一期教学开始啦，本人也是初学，记录下爬取电影的方式，这个比较复杂了，网上的教学也比较少，希望能火吧我这里以某电影网站为例进行爬取
1.首先需要知道，很多的电影网站会用采用m3u8视频分段的方式来加载视频，可不是咱想象中的一整个文件，分段加载的好处就是加载快，这里说到m3u8这其实是个文件，请看截图：
打开f12可以看到有两个m3u8结尾的链接，如果打开这个链接会下载m3u8文件，这里我们来下载看看这个文件的内容，
很明显这个不是真正的m3u8文件，
但是里面有一条地址这个才是真正的文件地址，我们根据地址打开真实文件(这里需要拼接下，真实地址为“https://tv.某某网.com/20191213/ny37lszg/hls/index.m3u8”)，这是我们看到他的真面目
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:11
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-KEY:METHOD=AES-128,URI="https://v.zdubo.com/20191213/ny37lszg/hls/key.key"
#EXTINF:10.023,
https://v.某某网.com/20191213/ny37lszg/hls/DMTmLuLL.ts
#EXTINF:10,
https://v.某某网.com/20191213/ny37lszg/hls/sFnwy1KT.ts
#EXTINF:10,
https://v.某某网.tv/20191213/ny37lszg/hls/sjv8BH0a.ts
#EXTINF:10,
https://v.某某网.com/20191213/ny37lszg/hls/pOGumGn6.ts
#EXT-X-ENDLIST
里面有很多的ts结尾的地址，这里的ts其实就是一个个视频，不过都是片段，把这些ts合并后才是真正的我们要的电影
2.然后我们获取到了ts文件地址，所以你以为结束了吗，不，如果你下载了其中一个ts文件你会发现，根本打不开，这是因为视频进行了加密，这时我们注意到在m3u8文件中有这么一句代码
#EXT-X-KEY:METHOD=AES-128,URI="https://v.某某网.com/20191213/ny37lszg/hls/key.key"其中的AES-128是加密方式，其中的key是。。。，就是一个key，可以理解为钥匙，我们下载下这个文件
4b56f3209ca9bbef
我们发现里面只有个这玩意，所以我们钥匙有了，锁也有了，到这基本可以去想想代码该怎么实现了
钥匙都给你了，锁也给你了，所以该用钥匙打开锁就要靠你们百度了，这里只讲解怎么用python实现，其他语言咱也么写过
import os
import requests
import re
from Crypto.Cipher import AES
from bs4 import BeautifulSoup
"""
下载M3U8文件里的所有片段
"""
def combine_mp4(path):
# 合并ts文件
os.chdir(path)
shell_str = '+'.join(os.listdir(path))
shell_str = 'copy /b ' + shell_str + ' ' + '1.mp4'
os.system(shell_str)
# 删除ts文件
os.system('del /Q *.ts')
def download(url):
# os.getcwd() 获取当前文件路径
download_path = os.getcwd() + "\download"
# 不存在文件夹创建
if not os.path.exists(download_path):
os.mkdir(download_path)
all_content = requests.get(url).text # 获取M3U8的文件内容
# print(all_content)
file_line = all_content.split("\n") # 读取文件里的每一行
# 通过判断文件头来确定是否是M3U8文件
if file_line[0] != "#EXTM3U":
raise BaseException(u"非M3U8的链接")
else:
unknow = True # 用来判断是否找到了下载的地址
cryptor = None # 用于AES的解密
for index, line in enumerate(file_line):
if "EXT-X-KEY" in line:
str1 = str(file_line[index])
url = re.findall('"(.*?)"', str1)
print(url)
key = requests.get(str(url[0])).content
cryptor = AES.new(key, AES.MODE_CBC, key)# key和解密方式，AES我不太熟，请自行百度
if "EXTINF" in line:
unknow = False
pd_url = file_line[index+1]# ts文件的路径
res = requests.get(pd_url)
s = str(file_line[index + 1])
c_fule_name = s[s.rindex("/")+1:]
print(c_fule_name+'正在下载')
with open(download_path + "\\" + c_fule_name, 'ab') as f:
try:
f.write(cryptor.decrypt(res.content))
f.flush()
f.close()
except:
continue
res.close()
if unknow:
raise BaseException("未找到对应的下载链接")
else:
print("下载完成")
combine_mp4(download_path)
# 获取页面的m3u8文件地址
def get_m3u8(url):
res = BeautifulSoup(requests.get(url).content, 'lxml')
# 获取第九个script标签的内容,地址就在其中
str1 = str(res.find_all("script")[9])
# 根据引号分割
url = re.findall('"(.*?)"', str1)
# 这里是知道url在第13个，所以就不加循环去判断了，循环多了影响效率
replace = str(url[13]).replace("/", "").replace("\\", '/')
# 到这里虽然获取到了m3u8文件，但是不是真正的的文件,这个假的中有真的的存放位置
text = requests.get(replace).text
file_line = text.split("\n") # 读取文件里的每一行
# url_str为https://v.tudu.site，因为m3u8文件中的地址不全，所以需要拼接下
url_str = re.findall('https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+', replace)
for line in file_line:
if 'm3u8' in line:
return url_str[0]+line
if __name__ == '__main__':
download(get_m3u8("https://cn.某某网.tv/vodplay/1354-1-4.html"))