爬虫实战-批量爬取QQ音乐歌曲

前言

本文仅供学习交流使用，请勿不当使用。

寻找歌单

首先下载音乐肯定得先找要下载的目标音乐啊，兄弟我自认为自己还算是个乐观的人，所以平常比较少听“网抑云”啦，于是就自然的打开了QQ音乐的官网，如下：

大致看了看，然后我选择了分类歌单，因为里面的歌单稍微多一点：

来到如下页面，首先找一个歌单进去，这里就选择第二个吧，看起来播放量高一点：

随便点开一首歌，我点开了你，好不好？，可恶，竟然强迫我登录，好吧好吧，登录就登录，登录完毕后点击歌曲如下：

首先大眼一看，浏览器里面的网址肯定不是歌曲的下载url啊，我们想下载歌曲肯定得找到歌曲的下载url，怎么找？按F12，如下(没有数据记得刷新下页面)：

选择菜单栏中的Media：

OK，一看最后一个竟然是3.3MB，不用想，数据肯定在这个里面，点开：

看如图蓝色横条中明明白白的写着：Content-Type: audio/mp4，那这个就是下载url了，复制Request URL粘贴到浏览器中，如下：

得，就是他，那么requests.get()一下这首歌就下载下来了,OK完事收工。

这时候应该可能有读者不满意了：“你TM在逗我？这么下载一首歌谁不会，老哥要一键下载几百首才行！”

不要慌不要慌嘛，这就来告诉大家怎么把首页那些歌单里面的歌全部下载下来！(VIP的除外，你懂的。。。)

既然想实现批量下载，首先肯定是来观察歌曲的下载url有什么特征啊，来看看这首歌的Request URL：

https://isure.stream.qqmusic.qq.com/C400003Frk3c0M7j5N.m4a?guid=5091581860&vkey=E306AEA443CA993C6007CC8E6E8E46AE83C4A665EF3843FB90480C0203B98A08448DCD6DDA534F2E25C821E86C955456597666DE344E0C90&uin=4166&fromtag=66

再来一首用来对比：

https://ws.stream.qqmusic.qq.com/C400001BxqJH2rf6uG.m4a?guid=5091581860&vkey=746525FC77CAB20350FC334CABA1BD3C0C2C50FC0B821A848403D0FFED2DF7E06390CE0CA93AFAAB97ECB18B46694624E2AEE671375A515C&uin=4166&fromtag=66

对比一看我们发现，在C之前的域名是相同的，guid是相同的，uin是相同的，fromtag是相同的，不同的就只有C到.m4a之间和vkey不一样了，那只要搞到这俩参数，下载歌就没啥问题了。那我们找找它们在哪，找啊找啊找朋友，找啊找啊找朋友，哎呀，突然找到一个巨好朋友：

如图，蓝色条框是purl参数，啊啊啊啊，这个参数直接就是域名之后的所有东西啊，包含了那两个不一样的vkey和C到.m4a之间的字符串了。得，那我们要是能找到这个请求的特征，发送这个请求就能得到purl了。找到purl就能下载音乐了。

来看看这个请求：

https://u.y.qq.com/cgi-bin/musics.fcg?-=getplaysongvkey11865704078518058&g_tk=652661168&sign=zzanqm3iok901lfce97ee26f87ec8b50b4ffa60462bdef&loginUin=2428022854&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq.json&needNewCode=0&data=%7B%22req%22%3A%7B%22module%22%3A%22CDN.SrfCdnDispatchServer%22%2C%22method%22%3A%22GetCdnDispatch%22%2C%22param%22%3A%7B%22guid%22%3A%225091581860%22%2C%22calltype%22%3A0%2C%22userip%22%3A%22%22%7D%7D%2C%22req_0%22%3A%7B%22module%22%3A%22vkey.GetVkeyServer%22%2C%22method%22%3A%22CgiGetVkey%22%2C%22param%22%3A%7B%22guid%22%3A%225091581860%22%2C%22songmid%22%3A%5B%22002xdDqK3GkHVO%22%5D%2C%22songtype%22%3A%5B0%5D%2C%22uin%22%3A%222428022854%22%2C%22loginflag%22%3A1%2C%22platform%22%3A%2220%22%7D%7D%2C%22comm%22%3A%7B%22uin%22%3A2428022854%2C%22format%22%3A%22json%22%2C%22ct%22%3A24%2C%22cv%22%3A0%7D%7D

这…相信一些同学看到这些直接会骂街吧哈哈哈。后面那一串带百分号的参数是什么鬼！

不要紧，来看这里：

注意看右下角Query String Parameters，这里其实就是请求后面跟的参数了，第一个带:(冒号)，我们不用管，然后你再打开另一首歌的这个参数界面，对比对比，我们发现只有sign标志和最后的data里面的songmid是不一样的，OK，再来找sign和songmid，找到之后就能知道purl就能下载歌曲了！

简单分析一下，这个songmid顾名思义就是歌曲的标识符，我们肯定不能在这个播放页找了，首先我们得找到一群songmid才能下载一批歌曲啊，那哪里可能有一群songmid？动动脑子想想，当然是歌单页！歌单页里面才有不止一首歌，它很有可能包含所有歌曲的songmid！，OK，来到这儿：

…，又是一个惊喜，简单对比下就可以发现，图中的mid就是之前要找的songmid，关键还是**这里面有119首歌的信息！！**而实际上的网页里面只有10首歌，它是这么提示的：查看更多内容，请下载客户端。不得不说，“它们”真聪明啊！

然后就是找那个sign了，找啊找啊找啊找，找啊找啊找啊找，最后，我找到脑子爆炸了，然而并没有找到。气急败坏的我就没附带那个参数给浏览器发了个请求，…没想到仍然返回了我们需要的数据。。。又是个惊喜。果然今天1024好运不断吗？(同志们你们看到的这一段话实际中我花了好长好长时间。。。)

OK，到这里我们有了歌单的url，这个直接复制就可，就能下载这119首歌了，才119首，说不定还有要VIP的，也没几首嘛，这怎么能满足！，走，想办法能把首页所有歌单的url特征找到就好了，我们好像开启了套娃之旅。

来看看这个歌单url的请求参数：

然后再换一个歌单对比对比：

于是我们又发现了！

只有一个dissid参数不一样，看来这个标签就是各个歌单的标识符了！，那哪里包含很多歌单的dissid呢？当然是首页！只有首页才显示了各个歌单的信息！该去首页找好朋友了，有了前面的竟然，继续套娃套下去我们也不怕了，这次很容易就找到了包含各个歌单dissid的地方了：

看！总共19个歌单，每一个歌单的dissid都工工整整的在那里，好像一早就知道我们要来在等我们似的。

OK，19个歌单，假如每个几十首歌曲，也起码几百首了吧，够听一阵子了，就不再套娃了，当然同志们有想法的可以去排行榜电台之类的都看看。。。

到这里就完工了，捋一捋，首先我们可以通过首页的url，来得到各个歌单的dissid，再通过各个歌单的dissid得到每个歌单下的songmid，再通过songmid来得到各个歌曲的purl，然后再简单经过url拼接就能下载歌曲了！

话不多说，直接上代码：

# @Author :   goldsunC
# @Date   :   2020/10/24/
# @Email  :   [email protected]
# @Blog   :   https://blog.csdn.net/weixin_45634606
import requests
import json
import os.path
def parse_dissid():
    """
    得到歌单的dissid
    """
    url = 'https://c.y.qq.com/splcloud/fcgi-bin/fcg_get_diss_by_tag.fcg?'
    data = {
     
        'picmid': '1',
        'rnd': '',
        'g_tk_new_20200303':'398486200',
        'g_tk': '398486200',
        'loginUin': '你的QQ账号',
        'hostUin': '0',
        'format': 'json',
        'inCharset': 'utf8',
        'outCharset': 'utf-8',
        'notice': '0',
        'platform': 'yqq.json',
        'needNewCode': '0',
        'categoryId': '10000000',
        'sortId': '5',
        'sin': '0',
        'ein': '19'
    }
    headers = {
     
        'accept':'application/json,text/javascript,*/*;q=0.01',
        'accept-encoding':'gzip,deflate,br',
        'accept-language': "zh-CN,zh;q=0.9",
        'referer': 'https://y.qq.com/portal/playlist.html',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
        'cookie':'你的cookie'
    }
    try:
        response = requests.get(url=url , params=data , headers = headers)
        dissid_list = []
        diss_json = json.loads(response.text).get('data').get('list')
        for diss_id in diss_json:
            id = diss_id.get('dissid')
            dissid_list.append(id)
        return dissid_list
    except requests.RequestException:
        print('请求得到dissid有问题')

def parse_mid(dissid):
    url = 'https://c.y.qq.com/qzone/fcg-bin/fcg_ucc_getcdinfo_byids_cp.fcg?'
    data = {
     
        'type':'1',
        'json':'1',
        'utf8':'1',
        'onlysong':'0',
        'new_format':'1',
        'disstid':dissid,
        'g_tk_new_20200303':'398486200',
        'g_tk':'398486200',
        'loginUin':'你的QQ账号',
        'hostUin':'0',
        'format':'json',
        'inCharset':'utf8',
        'outCharset':'utf-8',
        'notice':'0',
        'platform':'yqq.json',
        'needNewCode':'0'
    }
    headers = {
     
        'accept': 'application/json,text/javascript,*/*;q=0.01',
        'accept-encoding': 'gzip,deflate,br',
        'accept-language': "zh-CN,zh;q=0.9",
        'cookie':'你的cookie',
        'origin':'https://y.qq.com',
        'referer': 'https://y.qq.com/',
        'sec-fetch-dest':'empty',
        'sec-fetch-mode':'cors',
        'sec-fetch-site':'same-site',
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }
    try:
        response = requests.get(url=url , params=data , headers = headers)
        mid_list = []
        name_list = []
        mid_json = json.loads(response.text).get('cdlist')[0].get('songlist')
        for media_mid in mid_json:
            mid = media_mid.get('mid')
            mid_list.append(mid)
            name = media_mid.get('name')
            name_list.append(name)
        return zip(mid_list,name_list)
    except requests.RequestException:
        print('请求得到media_mid出问题')

def parse_purl(mid):

    url = 'https://u.y.qq.com/cgi-bin/musicu.fcg?'
    data = {
     
        'g_tk': '5381',
        'loginUin': '0',
        'hostUin': '0',
        'format': 'json',
        'inCharset': 'utf8',
        'outCharset': 'utf - 8',
        'notice': '0',
        'platform': 'yqq.json',
        'needNewCode': '0',
        'data': '{"req_0":{"module":"vkey.GetVkeyServer","method":"CgiGetVkey","param":{"guid":"8874756349","songmid":["' +
                mid + '"],"songtype":[0],"uin":"0","loginflag":1,"platform":"20"}},"comm":{"uin":0,"format":"json","ct":24,"cv":0}}',
    }
    headers= {
     

        'Referer': 'https://y.qq.com/portal/player.html',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    try:
        response = requests.get(url,params=data,headers=headers)
        purl_json = json.loads(response.text).get('req_0').get('data').get('midurlinfo')[0].get('purl')
        return purl_json
    except requests.RequestException:
        print('请求得到purl出错')
def download(purl,name):
    base = 'https://ws.stream.qqmusic.qq.com/'
    url = base+purl
    headers= {
     
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    response = requests.get(url,headers = headers)
    with open('./QQQQ/{}.mp3'.format(name),'wb') as f:
        f.write(response.content)
if __name__ == '__main__':
    dissid_list = parse_dissid()
    mid_name_list = []
    # 将所有歌曲全部下载，因为数量多且程序未优化，会很慢，不过也可以尝试
    # for dissid in dissid_list:
    #     mid_name = parse_mid(dissid)
    #     mid_name_list.append(mid_name)

    #如下是只下载第一个歌单里面的歌曲
    mid_name = parse_mid(dissid_list[0])
    mid_name_list.append(mid_name)

    purl_names_list = []
    for mid in mid_name_list:
        for i in mid:
            purl = parse_purl(i[0])
            purl_names = [purl,i[1]]
            purl_names_list.append(purl_names)
            print(list(purl_names))
    if not os.path.exists('QQQQ'):
        os.mkdir('QQQQ')
    for purl_name in purl_names_list:
        purl_and_name = list(purl_name)
        download(purl_and_name[0],purl_and_name[1])

需要注意的是，程序中的cookie和账号需要改成你自己的，另外因为程序比较简单，没有使用多线程、Scrapy等，下载会比较慢，之后找时间把程序重构优化一下。
如果文章对你有帮助，还请点个赞哦~
不说了，我听歌曲了