爬取图片基本上告一段落了,方法大同小异,最关键的是如何应对反爬虫,使自己的爬虫程序能够连续不间断地运行下去。视频试着爬取了一下,感觉不是很好,因为数据太大了,保存response.content的方法已经明显不适用,不如获取一个下载地址列表,让迅雷、QQ旋风等专业的多线程、支持断点续传的程序去下载。音频的大小适中,mp3格式的音乐数据基本在5M以下,FLAC高音质的音乐数据在30M以下,以现在的网速,基本上是可以爬取的。下面讲一讲使用百度音乐的开发API接口下载音乐的方法,让我们愉快地学习吧。
(一) 第一种方法
url = "http://sug.music.baidu.com/info/suggestion"
这是百度音乐搜索获得songid的网址,我们怎样向它请求数据呢,很简单,填写个payload就可以了。
mess = song_name + singer 或者 song_name 或者singer
歌名、歌手或者两者都填
payload = {'word': mess, 'version': '2.1.1', 'from': '0'}
r = requests.get(url, params=payload)
contents = r.text
d = json.loads(contents, encoding="utf-8")
请求并进行json解析,
那么JSON里面有什么呢?
上图,里面一共有11项数据,在第4层JSON里面,英文名字很清楚,我就不多说了。最关键的拿到了songid:816477,song_id = d["data"]["song"][0]["songid"]。那么下一步就是用这个songid去获取实际下载地址了。
这是百度音乐免费api接口,可以为我们提供下载地址。
url = "http://music.baidu.com/data/music/fmlink"
和上面类似,使用payload提交我们要查询的数据,songIds代表歌曲id,type代表要下载的格式,有‘mp3’,‘flac’等多种格式。这里不知道是否可以提交albumId(专辑名称)、artistId(歌手名称)还未测试。
payload = {'songIds': song_id, 'type': 'mp3'}
r = requests.get(url, params=payload)
contents = r.text
d = json.loads(contents, encoding="utf-8")
这是最终获取的JSON数据,歌曲实际地址在songLink里面,获取方法:
songlink = d["data"]["songList"][0]["songLink"]
获取歌曲的文件格式,正则表达式
pattern=re.compile(r'music\/.*?\.(.*?)\?.*?',re.S)
songformat=re.findall(pattern,songlink)
saveformat=songformat[0]
最后结果:
songLink : http://yinyueshiting.baidu.com/data2/music/134370487/816477248400128.mp3?xcode=9e3069036aac66c3c6826868de970894
saveformat : mp3
然后保存,这就不多说了。有时候会有请求不完全的情况,这是用len(response.content)判断一下,看看是否大于2M,没有就重新请求下载。
(二)第二种方法
第二种方法是参考自这篇博客,作者也说是转的,所以不知道原始作者是谁,向作者致敬。
搜索歌曲API:http://musicmini.baidu.com/app/search/searchList.php?qword={0}&ie=utf-8&page={1}
{0}=需要搜索的歌曲或歌手 如‘晴天’ ‘周杰伦’
{1}=页码数(第一页就是0,第二页是1) 基本置为‘0’就可以
返回的是一个html网页,需要分析网页,得到歌曲ID,歌曲名,歌手,专辑等 属性,网页解析我就不说了,BeautifulSoup xpath re都可以,都在'tr'标签里,上一下图:
获取歌曲详细信息的网址
url='http://ting.baidu.com/data/music/links?songIds={0}'
{0}=从上面的结果的中分析的歌曲的ID 晴天的songid:816477
获取和上面类似的html,json解析后,格式与上面类似
{
"errorCode":22000,
"data":
{
"xcode":"17173bd17415d2c22a7250ec29f7e010",
"songList":[{
"queryId":"247911654",
"songId":247911654,
"songName":"\u590f\u6d1b\u7279\u70e6\u607c",
"artistId":"5913",
"artistName":"\u91d1\u5fd7\u6587",
"albumId":247911669,
"albumName":"\u590f\u6d1b\u7279\u70e6\u607c",
"songPicSmall":"http:\/\/musicdata.baidu.com\/data2\/pic\/247910612\/247910612.jpg",
"songPicBig":"http:\/\/musicdata.baidu.com\/data2\/pic\/247910608\/247910608.jpg",
"songPicRadio":"http:\/\/musicdata.baidu.com\/data2\/pic\/247910603\/247910603.jpg",
"lrcLink":"\/data2\/lrc\/248241445\/248241445.lrc",
"version":"\u5f71\u89c6\u539f\u58f0",
"copyType":0,
"time":192,
"linkCode":22000,
"songLink":"http:\/\/yinyueshiting.baidu.com\/data2\/music\/247912201\/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8",
"showLink":"http:\/\/yinyueshiting.baidu.com\/data2\/music\/247912201\/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8",
"format":"mp3",
"rate":128,
"size":3078749,
"relateStatus":"0",
"resourceType":"0",
"source":"web"
}
]
}
}
提取信息:
"songLink":"http:\/\/yinyueshiting.baidu.com\/data2\/music\/247912201\/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8"
网易云音乐和虾米音乐的API还没有研究,好像现在因为音乐版权问题,很多英文歌曲、港台歌曲都不能够免费听了。例如辛晓琪的两两相忘,已经从网易云上下架了,百度音乐也没有搜到,虾米