使用工具
爬虫：
Python 3.6
urllib
requests
爬取目标
音悦台任意艺人的mv（最清晰）
步骤
MV-搜索你喜欢的艺人.png
搜索结果.png
点击第一个视频，F12
image.png
在浏览器中输入这个链接看一下：
image.png
这就是mv真实地址了，但是...
image.png
image.png
瑟瑟发抖.jpg
我不知道怎么搞这个啊！如果有大佬会的，请一定告诉我，谢谢！
怂了，面向搜索引擎一下，结果找到
image.png
转自：https://www.toubiec.cn/81.html
好吧，这就是我需要的了，将videoId换成我们需要的Id看看
image.png
到此，已经拿到了真实视频地址，再看看mv列表页的总页数，id，mv标题
image.png
周董的mv有1000+，但是只有42页，大胆预测一下，42页应该是封顶了，再看看杨宗纬的
image.png
寻找一下怎么获取总页数
image.png
可以看到pageCount就是总页数了
image.png
删去不必要的参数，访问看一下（懒得装jsonview，看着有点累）：
image.png
这里包含了总页数，id，mv标题
mv真实地址和需要的参数都到手了，整一下代码
1.获取mv总页数：
def get_page_count(self):
# 获取mv总页数
get_page_url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex=1&pageSize=24'\
.format(keyword) # keyword是艺人名
try:
response = requests.get(get_page_url)
if response.status_code == 200:
json = response.json()
page_count = json.get('pageInfo')['pageCount'] # 获取总页数
return page_count
return None
except ConnectionError:
return None
2.访问包含mv列表页信息的api接口（返回json）
def get_index(self, url):
try:
response = requests.get(url)
if response.status_code == 200:
json = response.json()
return json
return None
except ConnectionError:
return None
3.获取mv的id、title
def get_mv_info(self, json):
# 获取mv的id、标题
if json.get('videos'):
items = json.get('videos')['data']
for item in items:
video_id = item.get('id')
title = item.get('title')
yield {
'video_id': video_id,
'title': title,
}
4.通过上文面向搜索引擎找到的包含mv真实地址的api接口，获取mv真实地址
def get_mv_source_url(self, video_id):
# 构造mv真实地址
mv_source_url = 'http://www.yinyuetai.com/api/info/get-video-urls?flex=true&videoId={}'.format(video_id)
json_dict = requests.get(mv_source_url).json()
mv_source_dict = {
'SD_MV': json_dict["hdVideoUrl"] if "hdVideoUrl" in json_dict else None,
'HD_MV': json_dict["hcVideoUrl"] if "hcVideoUrl" in json_dict else None,
'FHD_MV': json_dict["heVideoUrl"] if "heVideoUrl" in json_dict else None,
}
mv_source_list = []
for key, value in mv_source_dict.items():
if value is not None:
mv_source_list.append(value)
return mv_source_list
因为很多mv不会有各种画质，所以需要进行一下判断，这里可以保证mv_source_list里的最后一个元素是mv最高画质的真实地址
5.下载最高画质的mv，并根据keyword创建文件夹，下载后的mv文件以mv的title命名
def download_mv(self, mv_source_list, title, video_id): # 下载最高品质的视频
# 创建存放视频的文件夹
file = 'C:/Users/Administrator/Desktop/{}/'.format(keyword)
if not os.path.exists(file):
os.mkdir(file)
print('创建文件夹：', file)
# 处理下载过程中的异常
try:
# 判断视频文件是否存在，并且给视频文件名做处理，将不合法的字符用'-'替代
if not os.path.exists(file + clean_title(title) + '-' + str(video_id) + '.mp4'):
print('Start Download MV：' + title + '...：', mv_source_list[-1])
urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
print('MV Download Success：', title)
else:
print('MV：{}-已存在'.format(clean_title(title)))
except socket.timeout:
# 解决下载时间过长甚至出现死循环的情况
count = 1
while count <= 5:
try:
urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
print('MV Download Success：', title)
break
except socket.timeout:
err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
print(err_info)
count += 1
if count > 5:
print("Downloading MV Failed!")
需要解释一下的是，文件命名是有规范的：
image.png
如果mv的标题包含这些字符，那就会保存失败，因此我写了一个函数来替换这些非法字符：
def clean_title(filename):
# 将非法字符替换成'-'
title = re.sub('[\/:*?"<>|]', '-', filename)
return title
还有一点是，在我实际运行程序进行下载的时候，会有个别时候，某个mv的下载速度出奇的慢，甚至有僵住的可能，但是如果暂停重新下载，下载速度又很大概率恢复正常，具体原因我不清楚，但是针对这个现象，我设置了一个sockettimeout，表示若下载阻塞超过3秒，就算超时
timeout = 3.0
socket.setdefaulttimeout(timeout)
except socket.timeout:
# 解决下载时间过长甚至出现死循环的情况
count = 1
while count <= 5:
try:
urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
print('MV Download Success：', title)
break
except socket.timeout:
err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
print(err_info)
count += 1
if count > 5:
print("Downloading MV Failed!")
超时后重新进行下载，我给了它5次机会，如果实在太倔强，只能放弃
6.main函数
def main(self):
page_count = self.get_page_count()
mv_count = 0
for page in range(1, page_count):
print('Crawl Page:', page)
url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex={1}&pageSize=24'.format(keyword,
page)
json = self.get_index(url)
for item in self.get_mv_info(json):
mv_count += 1
video_id = item['video_id']
title = item['title']
mv_source_list = self.get_mv_source_url(video_id)
self.download_mv(mv_source_list, title, video_id)
print('已下载MV数量：', mv_count)
程序完整代码：
spider.py
import requests
import urllib.request
import os
import urllib.error
import socket
from common import clean_title
keyword = '周杰伦'
timeout = 3.0
socket.setdefaulttimeout(timeout)
class YinYueTaiSpider(object):
def get_index(self, url):
try:
response = requests.get(url)
if response.status_code == 200:
json = response.json()
return json
return None
except ConnectionError:
return None
def get_page_count(self):
# 获取mv总页数
get_page_url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex=1&pageSize=24'\
.format(keyword) # keyword是艺人名
try:
response = requests.get(get_page_url)
if response.status_code == 200:
json = response.json()
page_count = json.get('pageInfo')['pageCount'] # 获取总页数
return page_count
return None
except ConnectionError:
return None
def get_mv_info(self, json):
# 获取mv的id、标题
if json.get('videos'):
items = json.get('videos')['data']
for item in items:
video_id = item.get('id')
title = item.get('title')
yield {
'video_id': video_id,
'title': title,
}
def get_mv_source_url(self, video_id):
# 构造mv真实地址
mv_source_url = 'http://www.yinyuetai.com/api/info/get-video-urls?flex=true&videoId={}'.format(video_id)
json_dict = requests.get(mv_source_url).json()
mv_source_dict = {
'SD_MV': json_dict["hdVideoUrl"] if "hdVideoUrl" in json_dict else None,
'HD_MV': json_dict["hcVideoUrl"] if "hcVideoUrl" in json_dict else None,
'FHD_MV': json_dict["heVideoUrl"] if "heVideoUrl" in json_dict else None,
}
mv_source_list = []
for key, value in mv_source_dict.items():
if value is not None:
mv_source_list.append(value)
return mv_source_list
def download_mv(self, mv_source_list, title, video_id): # 下载最高品质的视频
# 创建存放视频的文件夹
file = 'C:/Users/Administrator/Desktop/{}/'.format(keyword)
if not os.path.exists(file):
os.mkdir(file)
print('创建文件夹：', file)
# 处理下载过程中的异常
try:
# 判断视频文件是否存在，并且给视频文件名做处理，将不合法的字符用'-'替代
if not os.path.exists(file + clean_title(title) + '-' + str(video_id) + '.mp4'):
print('Start Download MV：' + title + '...：', mv_source_list[-1])
urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
print('MV Download Success：', title)
else:
print('MV：{}-已存在'.format(clean_title(title)))
except socket.timeout:
# 解决下载时间过长甚至出现死循环的情况
count = 1
while count <= 5:
try:
urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
print('MV Download Success：', title)
break
except socket.timeout:
err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
print(err_info)
count += 1
if count > 5:
print("Downloading MV Failed!")
def main(self):
page_count = self.get_page_count()
mv_count = 0
for page in range(1, page_count):
print('Crawl Page:', page)
url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex={1}&pageSize=24'.format(keyword,
page)
json = self.get_index(url)
for item in self.get_mv_info(json):
mv_count += 1
video_id = item['video_id']
title = item['title']
mv_source_list = self.get_mv_source_url(video_id)
self.download_mv(mv_source_list, title, video_id)
print('已下载MV数量：', mv_count)
if __name__ == '__main__':
mv = YinYueTaiSpider()
mv.main()
common.py（写过滤非法字符的函数）
import re
def clean_title(filename):
# 将非法字符替换成'-'
title = re.sub('[\/:*?"<>|]', '-', filename)
return title
运行程序
image.png
可以看到桌面上已经有了相应文件夹
image.png
image.png
下载速度还不错
暂停，重新运行看看：
image.png
image.png
由于硬盘空间不够，就不继续运行了
使用
只需修改spider.py里的keyword参数，换成你需要的艺人名即可
keyword = '周杰伦'
最后发现
后来写完了程序...发现了一个音悦台mv1080p的接口，我是懒得重新整了
详情请见：https://www.lylares.com/yinyuetai-videourl-online-analysis-api.html