关于blob加密视频的基于m3u8和ts文件下载转MP4视频的python爬虫实现

关于blob加密视频的基于m3u8和ts文件下载转MP4视频的python爬虫实现

首先谈一下这篇文章主要的爬虫对象,基本上都是一些视频网站(一些大厂会有自己独特的编码风格需要自行破解加密格式,所以很难实现,所以这篇文章主要针对于一些小网站)。

下面先说一下blob加密的实现,可以参考这篇博客(https://blog.csdn.net/xingyun89114/article/details/80699527)

总结来说呢,其实就是HTTP请求后的数据做blob加密,上篇博客我们也可以在开发者模式中的network部分找到相关m3u8文件以及ts文件,在这里先提一句,那就是有一些网站呢,你已经开始播放后,再打开开发者模式去找这些文件的时候,可能你只能找到ts文件,你需要刷新网页先开开发者模式,再进行后续操作。

下面开始简述基本流程

首先你需要找到m3u8文件,其次你需要解析出所有的ts文件的路径,这个解析的过程是因为大部分m3u8文件的里面给出的ts文件是相对路径,最后通过命令行将所有ts文件拼接成MP4文件。

理论成立,实践开始!

首先呢,我们做的工作是半自动化,手动下载你所需要的m3u8文件,就是在开发者模式中找到该文件,通过其url进行下载,下面给出一段关于解析m3u8文件到ts文件的代码片段。

def get_ts_urls(path_m3u8, filename, base_url):
    # 将index.m3u8文件解读为数组
	print('-' * 70)
    print('Analysising M3U8 File...')
    urls = []
    with open(path_m3u8 + filename,"r") as file:
        lines = file.readlines()
        for line in lines:
            if line.endswith(".ts\n"):
                urls.append(base_url+ line.strip("\n"))
    if(len(urls) > 0):
        print('-' * 70)
        return urls

这样我们便得到了一个关于所有ts文件的url的list。

其次的工作呢,是将这些url中的ts文件下载到本地
我利用的是urllib,给出相关代码如下:
(后续会对其进行加工)

	urlretrieve(url, filename)

之后是通过命令行来将所有的ts文件转为一个MP4文件

copy /b *.ts video.mp4

这样一个最low最low的版本就实现了,下面我们根据上述方法存在的问题进行改良。

首先是关于urlretrieve方面,很多情况下,我们会发现由于网络原因等,一个ts文件的下载会很慢甚至会失败,经常会抛出这样的异常(urllib.error.URLError: urlopen error _ssl.c:1039: The handshake operation timed out)针对于这种情况,我们改良这个方法,可以进行多次尝试,而且为每次尝试设置timeout。(这个是在某篇博客看到的,但是当时没保存url,现在找不到该博客,不是有意抄袭

def OwnUrlRetrieve(url, filename, timeout):
    # 改良的urlretrieve方法,主要是因为有的网站会超时,如果说ts下载速度特别慢而且经常超时可以先修改时间限制,不行就放弃吧(估计有IP的防爬)
    socket.setdefaulttimeout(timeout)
    try:
        urlretrieve(url, filename)
    except socket.timeout:
        count = 1
        while count <= 5:
            try:
                urlretrieve(url, filename)
                break
            except socket.timeout:
                err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                print(err_info)
                count += 1
        if count > 5:
            print("download job failed!")

这样基本上会保证不会因为网络原因而中断下载任务。

其次我们将命令行部分封装到代码里,在此提示,之前的下载以及命令行等请自己注意好文件路径。

def ts2mp4(path):
    #cmd命令行,如果这个方法出错了,八成是管理员权限没有赋给这个文件夹,还有就是你也可以自己用命令行执行,只是为了全自动化
    cmd = 'copy /b *.ts video.mp4'
    os.chdir(path)
    os.system(cmd)

下面我们可能还是感觉这不是很智能,而且没有应用于爬虫。

我们的目标:给出一个url就可以获取该页视频,这才是棒棒的程序(全自动化)。

摆在我们面前的第一个问题是,给出一个url我就能找到正确的index.m3u8文件,请注意是正确的

在给出一段url之后,我们利用webdriver可以找到该网页中的视频url数据,我比较常用的可能有两个方面,第一个是通过标签检索,这个需要有一些网页开发的经验,比如说js里的document.getElementById()等等的,在我们的爬虫中是这个(driver.find_element_by_id),下面给出一篇博客,有好多这种方法(https://www.cnblogs.com/youngleesin/p/10447907.html),第二个是根据responsetext自己去找相关url,这个因为没法普遍应用于所有网页,所以就不推广了。

在进行这部分前你需要先下载好chorme驱动等相关配置,下面代码中的两个本地地址,D盘的是我浏览的exe执行文件地址,E盘的是python环境中的驱动包地址,关于这个包下载的给出一篇博客(https://blog.csdn.net/muriyue6/article/details/101440353)

下面给出相关代码

def download_m3u8(page_url, path_m3u8):
    print('-' * 70)
    print('Downloading M3U8 File...')
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.binary_location = r"D:\Google\Chrome\Application\chrome.exe"
    driver = webdriver.Chrome(
        executable_path=r'E:\Anaconda3\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe',
        options=chrome_options)
    driver.get(page_url)
    frame = driver.find_element_by_id("")#这没写是为了不侵权,狗头保命
    #这句就是精髓,找到对应的iframe从而找到index.m3u8的地址,这个需要根据网页来定,方法不一定根据id,你有网页开发经验的话就很好理解
    m3u8_url = frame.get_attribute('src').split('?')[1].split('&')[0].split('=')[1]
    #这句话也是你要拆好这个参数
    OwnUrlRetrieve(m3u8_url, path_m3u8, 20)
    driver.quit()
    time.sleep(1)#防止本机卡的一些故障
    print('-' * 70)
    return 'https://' + m3u8_url.split('/')[2]

好了,到这里我们的主要功能都说完了,下面有几个小tips要提出

第一个坑,我在刚才说的时候提到的正确的m3u8文件,有很多网站呢,他很坏,有不止一个m3u8文件,可能是两个,而第一个文件经常会被我们所找到,但是这个文件不包含ts文件信息,而是第二个文件的相对路径,所以我们找到第一个文件之后,不需要再去遍历整个网页去找第二个文件,而是改写我们之前的方法,有一些聪明的小伙伴可能发现我上面的一段代码只写了if,下面给出全代码。

def get_ts_urls(path_m3u8, filename, base_url):
    # 将index.m3u8文件解读为数组
    print('-' * 70)
    print('Analysising M3U8 File...')
    urls = []
    with open(path_m3u8 + filename,"r") as file:
        lines = file.readlines()
        for line in lines:
            if line.endswith(".ts\n"):
                urls.append(base_url+ line.strip("\n"))
    if(len(urls) > 0):
        print('-' * 70)
        return urls
    else:
        with open(path_m3u8 + filename, "r") as file:
            lines = file.readlines()
            for line in lines:
                if line.endswith(".m3u8"):
                    urls.append(relative_path(base_url) + line)
        if(len(urls) == 1):
            OwnUrlRetrieve(urls[0], path_m3u8 + filename,20)
            base_url = urls[0]
            results = get_ts_urls(path_m3u8,base_url)
            return results
        else:
            urls[0] = 'error'
            return urls

第二个算是一个小建议,当我们需要下载多集资源的时候,我们可以通过更改url的方式来使得程序更智能化。

第三个呢,就是有一个可以改进的地方,那就是可不可以用多线程来实现ts文件的下载,这样可以加速我们的ts文件下载。之前的urls的list其实就是任务池,如果有大佬写出了这样的代码,欢迎大佬联系我([email protected])。

最后的最后,我全部的代码做了整合之后(还有一些进度条功能)放在CSDN资源里面,希望支持,(苦逼的孩子有时候需要下训练集需要积分)
资源链接:(https://download.csdn.net/download/weixin_41084548/12209564)

你可能感兴趣的:(爬虫,python,http,websocket)