斗鱼网流媒体视频采集演示

2019独角兽企业重金招聘Python工程师标准>>>

原文作者：西安鲲之鹏

原文链接：http://www.site-digger.com/html/articles/20150603/91.html

斗鱼网的视频直播采用Flash + FLV流视频源的模式工作，斗鱼网的直播视频采集难度相对较大，主要体现在：其 FLV流视频源的URL是在Flash中动态获取的，对应的Request抓包可以看到，但是由于加入了签名验证（如下图所示），使得我们无法通过程序直接模拟出合法的请求。

鲲鹏数据的技术人员利用“嗅探”思路成功绕过了该签名认证的过程：

使用Webkit（PyQt4.QtWebKit）实现一个定制的浏览器（具有HTTP请求拦截功能，并需要支持Flash），使用该浏览器加载斗鱼网的视频直播页面，当浏览器捕捉到FLV流媒体视频源时拦截该请求， 并把获取到的URL交由FLV流媒体下载器下载。

下面是整个过程的视频演示：

 >>> 到腾讯视频观看

如果您有类似的定制采集需求可以联系我发的客服人员。客服QQ：1649677458。

特别说明：该文章为西安鲲之鹏的原创文章 ，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）

转载于:https://my.oschina.net/webscraping/blog/511221