Python3爬取爱奇艺VIP视频
（1）实战背景
下面网站提供免费的视频解析，其通用解析方式是：
http://api.xfsub.com/index.php?url=[播放地址或视频id]
比如加勒比海盗5电影只需在浏览器地址输入：
http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
但该网站只提供在线解析视频的功能，没有提供下载接口，下面用网络爬虫进行抓包，将视频下载下来。
（2）实战升级
使用Fiddler进行抓包
POST请求是向服务器发送数据，服务器再根据POST请求的参数，返回相应的内容。这个POST请求有四个参数，分别为time、key、url、type。
编程思路：
-
用正则表达式匹配到key、time、url等信息。
-
根据匹配的到信息发POST请求，获得一个存放视频信息的url。
-
根据这个url获得视频存放的地址。
-
根据最终的视频地址，下载视频。
（3）编写代码
需要注意使用requests.session()保持会话请求。简单理解就是，在初次访问服务器的时候，服务器会给你分配一个身份证明。我们需要拿着这个身份证去继续访问，如果没有这个身份证明，服务器就不会再让你访问。这也就是这个服务器的反爬虫手段，会验证用户的身份。
#-*- coding:UTF-8 -*-
import requests,re,json
from bs4 import BeautifulSoup
class video_downloader():
def __init__(self, url):
self.server = 'http://api.xfsub.com'
self.api = 'http://api.xfsub.com/xfsub_api/?url='
self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
self.url = url.split('#')[0]
self.target = self.api + self.url
self.s = requests.session()
"""
函数说明:获取key、time、url等参数
Parameters:
无
Returns:
无
Modify:
2017-09-18
"""
def get_key(self):
req = self.s.get(url=self.target)
req.encoding = 'utf-8'
self.info = json.loads(re.findall('"url.php",\(.+),', req.text)[0]) #使用正则表达式匹配结果，将匹配的结果存入info变量中
"""
函数说明:获取视频地址
Parameters:
无
Returns:
video_url - 视频存放地址
Modify:
2017-09-18
"""
def get_url(self):
data = {'time':self.info['time'],
'key':self.info['key'],
'url':self.info['url'],
'type':''}
req = self.s.post(url=self.get_url_api,data=data)
url = self.server + json.loads(req.text)['url']
req = self.s.get(url)
bf = BeautifulSoup(req.text,'xml') #因为文件是xml格式的，所以要进行xml解析。
video_url = bf.find('file').string #匹配到视频地址
return video_url
if __name__ == '__main__':
url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
vd = video_downloader(url)
vd.get_key()
print(vd.get_url())
已经顺利获得了mp4这个视频文件地址。根据视频地址，使用urllib.request.urlretrieve()即可将视频下载下来。编写代码如下：
#-*- coding:UTF-8 -*-
import requests,re, json, sys
from bs4 import BeautifulSoup
from urllib import request
class video_downloader():
def __init__(self, url):
self.server = 'http://api.xfsub.com'
self.api = 'http://api.xfsub.com/xfsub_api/?url='
self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
self.url = url.split('#')[0]
self.target = self.api + self.url
self.s = requests.session()
"""
函数说明:获取key、time、url等参数
Parameters:
无
Returns:
无
Modify:
2017-09-18
"""
def get_key(self):
req = self.s.get(url=self.target)
req.encoding = 'utf-8'
self.info = json.loads(re.findall('"url.php",\(.+),', req.text)[0]) #使用正则表达式匹配结果，将匹配的结果存入info变量中
"""
函数说明:获取视频地址
Parameters:
无
Returns:
video_url - 视频存放地址
Modify:
2017-09-18
"""
def get_url(self):
data = {'time':self.info['time'],
'key':self.info['key'],
'url':self.info['url'],
'type':''}
req = self.s.post(url=self.get_url_api,data=data)
url = self.server + json.loads(req.text)['url']
req = self.s.get(url)
bf = BeautifulSoup(req.text,'xml') #因为文件是xml格式的，所以要进行xml解析。
video_url = bf.find('file').string #匹配到视频地址
return video_url
"""
函数说明:回调函数，打印下载进度
Parameters:
a b c - 返回信息
Returns:
无
Modify:
2017-09-18
"""
def Schedule(self, a, b, c):
per = 100.0*a*b/c
if per > 100 :
per = 1
sys.stdout.write(" " + "%.2f%% 已经下载的大小:%ld 文件大小:%ld" % (per,a*b,c) + '\r')
sys.stdout.flush()
"""
函数说明:视频下载
Parameters:
url - 视频地址
filename - 视频名字
Returns:
无
Modify:
2017-09-18
"""
def video_download(self, url, filename):
request.urlretrieve(url=url,filename=filename,reporthook=self.Schedule)
if __name__ == '__main__':
url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
vd = video_downloader(url)
filename = '加勒比海盗5'
print('%s下载中:' % filename)
vd.get_key()
video_url = vd.get_url()
print(' 获取地址成功:%s' % video_url)
vd.video_download(video_url, filename+'.mp4')
print('\n下载完成！')
urlretrieve()有三个参数，第一个url参数是视频存放的地址，第二个参数filename是保存的文件名，最后一个是回调函数，它方便我们查看下载进度。代码量不大，很简单，主要在于分析过程。
但是直接运行会报错
ConnectionError: ('Connection aborted.', TimeoutError(10060, '由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。', None, 10060, None))