python爬取网页中的电影

一、分析页面结构

打开开发者工具，获取页面源代码

视频第三方页面地址.png

我们进入这个iframe的src地址中：

iframe_src.png

我们发现该页面中只有一个视频在播放，正是我们想要的，我们继续分析该页面的源码，搜一搜看看有没有m3u8的文件类型

搜索m3u8.png

发现页面里正好有两个m3u8文件，这时候我们去抓包工具里看看这两个url对应的resp是什么东西

playlist_m3u8.png

对应的response如下：

laylist_resp.png

目测应该是我们想要的
可以开始准备爬取了

二、爬取视频的思路：

1.首先获取视频页面html中的iframe标签内的src中的内容

2.根据请求src中的url，在得到的响应中获得playlist中对应的m3u8地址；

4.使用异步协程批量下载m3u8中的ts文件

5.使用剪辑工具拼接好下载的ts文件

三、实施计划

1.得到iframe中的src，按标签查内容的话可以使用beautifulsoup：

def get_iframe_src(main_url):
    resp=requests.get(main_url)
    #匹配到iframe标签中的src
    page = BeautifulSoup(resp.text,'html.parser')
    src = page.find('iframe').get('src')
    return src;

2.请求src中的url，在相应页面中得到playlist对应的m3u8地址
（由于这里的m3u8地址是在js脚本中，这里的匹配我们选用正则表达式来匹配）：

def get_playlist_m3u8_url(url):
    resp=requests.get(url)
    obj=re.compile(r'var playlist.*?"url":"(?P.*?)"}',re.S)
    m3u8_url_playlist=obj.search(resp.text).group('m3u8_url')
    m3u8_url_playlist #/20220218/5TQqukCg/2000kb/hls/index.m3u8
    return m3u8_url_playlist;

3.下载m3u8文件：这里由于我们得到的地址是相对地址，需要我们手动拼接，详细见源码

def download_m3u8_file(m3u8_url):
    resp=requests.get(m3u8_url);
    with open('测试_m3u8.txt',mode='w',encoding='utf-8') as f:
        f.write(resp.text)
    print('测试_m3u8.txt下载完成')

4.下载好m3u8文件后，我们开始批量下载m3u8文件里的内容，这里也需要我们拼接出绝对地址
（这里涉及协程代码，我也正在学习中）

async def aio_download(up_url):
    tasks=[]
    async with aiohttp.ClientSession() as session:
        async with aiofiles.open('测试_m3u8.txt',mode='r',encoding='utf-8') as f:
            async for line in f:
                if not line.startswith('#'):
                    line=line.strip();
                    ts_url = up_url +line;
                    name=line.split('/')[-1]
                    #开始封装一个一个的下载任务
                    task=asyncio.create_task(ts_download(ts_url,name,session))#ts_download(ts_url,name,session)这个函数是下载ts文件的函数，在下面哦
                    tasks.append(task)
            await asyncio.wait(tasks)

5.下载ts文件

async def ts_download(ts_url,name,session):
    '''下载ts文件'''
    async with session.get(ts_url) as resp:
        async with aiofiles.open(f'测试/{name}',mode='wb') as f:
            await f.write(await resp.content.read())

    print(f'{name}下载完毕');

6.下载完毕ts文件之后，就需要我们来拼接所有的ts文件了
但我这里拼接暂时出现了问题，提示代码行过长，还没有想到解决办法
7.最后放上下载好的ts文件的截图

ts.png

源码github地址：https://github.com/ZdwCode/getVideo