使用grep正则匹配提取.m3u8视频并下载

最近某教育app上看到了一些很不错的视频，可惜这些活动期的视频有期限限制，于是打算把他们都下载下来

首先使用抓包工具Charles抓取视频的请求数据，API是https的，需要安装安全证书，具体步骤略过。

之后我拿到了包含该系列课程视频url集合的response数据，json格式，视频基于.m3u8，接下来要做的就是把这些.m3u8提取出来，在百度上找了一些grep的正则提取url方法，都不太好用，最后Google出一片境外的文章，方法如下：

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.jpe?g]'  url.txt

稍加改动，我们要的是.m3u8的视频地址，所以改为：

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt

url.txt为我们的json数据，这样就可以顺利的拿到所有的视频链接了。

接下来，我发现所有按行排列的.m3u8地址包含了多种清晰度，有pc_low.m3u8，pc_mid.m3u8，pc_high.m3u8结尾的，很明显，需要从其中提取一种，很简单，只要在上面的grep语句中把[.m3u8]改为[pc_low.m3u8]就可以了。

下载资源的问题解决了，那么下载输出呢？我们需要给每个下载好的MP4文件命名，并放到我们指定的目录下，简单起见，就按照顺序命名为1.mp4; 2.mp4; 3.mp4....

在url.txt相同的目录下新建一个linePut.sh，把我们上面的命令写成脚本,vim linePut.sh:

n=1

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt | grep".pc_mid.m3u8$" | while read line

do

{

    {

        echo"ffmpeg -i $line /Users/mz/subDesktop/wanmenVideo/$n.mp4"

    } &

    let n=$n+1

}

done

wait

########--------

/Users/mz/subDesktop/wanmenVideo是我自定义存放MP4的路径

执行这个脚本之后会输出每一个视频的下载命令，把这些输出结果写入另一个result.sh, 然后终端输入：

sh linePut.sh > result.sh ; sh result.sh

然后我们就能在/Users/mz/subDesktop/wanmenVideo看到下载的视频了