爬取网易云歌单-增加爬取多页

之前爬取的是第一页的多个歌单，现在增加爬取多页歌单，先看第一页url：

url:(https://music.163.com/discover/playlist/order=hot&cat=全部&limit=35&offset=0)注意：图片中的url中you#号，我给出的url中没有，不能要#号
再看第二页的url：

第三页url：

够了，三页差不多了，我们仔细看一下每一页url中的最后两项:limit = 35和offset = x,通过我的测试，limit后边的那个数字是用来控制每一页显示多少个歌单的，而后边的offset相信能看出来，它就是用来控制页数的，第一页：offset=0，第二页：offset=35，第三页:offset=70，那就有这么一个规律，offsset = (i*35) i = 0、1、2、3、……那就很明了了，用个for循环构造呗,如下：

urls = [] #一个空列表，用来存放第1、2、3、等的url
for i in range(3):  #其中3是要爬取的页数，可以自由设置，当然，要在网易云的歌单范围内
  urls.append('https://music.163.com/discover/playlist/?&limit=35&offset='+str(i*35))

urls是这样的

['https://music.163.com/discover/playlist/?&limit=35&offset=0', 'https://music.163.com/discover/playlist/?&limit=35&offset=35', 'https://music.163.com/discover/playlist/?&limit=35&offset=70']

那按照前边第一二篇文章的步骤，我得去分析一下第二页，第三页，或者后边的歌单，然后取出歌单id呀，好吧，行动，我选了第二页歌单，打开开发者工具，刷新页面，在Network中看返回给我们的东西，我选了红框中的歌单的id去搜了一下，发现在一个Name叫?order=hot&cat...的里边，那根据之前的一次次尝试，那其他歌单的id肯定也在里边无疑了，别问我怎么找到?order=hot&cat这个的，一个个试的

那再来看看第三页的情况

巧了，和第二页的一样，实在不信就这样就可以了？，那再来试一个，看看第五页

还是一样的，好了，大概知道了，肯定也就是下这里边了，如果不在我也不找了，累呀。到这里为止，我们已经可以构造出每一页的url，也找出了歌单id规律和之前是一样的，那接下来的操作就和前边的文章一样了爬取网易云音乐更新-增加爬取多个歌单，完整代码

import requests
from bs4 import BeautifulSoup

def getHtml(url,headers):
    try:
        r = requests.get(url,headers = headers)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        print('爬取失败')
        return ''

def htmlParser(html):
    try:
        id_list = []
        soup = BeautifulSoup(html,'html.parser')
        li = soup.select('.f-hide li a')
        for i in li:
            id_list.append(i['href'].split('=')[-1])
        return id_list
    except:
        print('获得id出错')
        return ''

def get_name_singer(html):
    name_sig_list = []
    soup = BeautifulSoup(html,'html.parser')
    name = soup.select('.f-ff2')
    singer = soup.select('p.des.s-fc4 span a')
    name_sig_list.append(name[0].text)
    name_sig_list.append(singer[0].text)
    return name_sig_list
def getMusic(lst,nslst,m,n):

        urls = []
        for id in lst:
            urls.append('http://music.163.com/song/media/outer/url?id='+id+'.mp3')
        for i in range(len(urls)):
            try:
                r = requests.get(urls[i])
                with open('music/'+nslst[i][1].strip()+','+nslst[i][0].strip()+'.mp3','ab') as f:
                    f.write(r.content)
                    print('第{}页第{}个歌单第{}首音乐下载成功'.format(n,m,i+1))
            except :
                print('第{}页第{}个歌单第{}首音乐下载失败'.format(n,m,i+1))
                continue
        f.close()
def getplayList(html):
    playlists = []
    soup = BeautifulSoup(html, 'html.parser')
    id = soup.select('.dec a')
    for i in id:
        playlist = []
        playlist.append(i['href'])
        playlist.append(i['title'])
        playlists.append(playlist)
    return playlists
def main():
    urlls = []  #用来存取每首歌的url
    urls = []  #用于存放每一个页面的url，即第1、2、3、...的url
    name_singer_list = []  #y用于存放每首歌的名字和歌手
    start_url_list = []  #用于存放每个歌单的url，最开始是从歌单开始分析，所以用这个名字
    headers = {
        'User-Agent': 'Mozilla/5.0'
    }
    n = int(input('请输入您想要爬取的页数:'))
    for i in range(n): #构造爬取几页歌单的url
        gedan_n = 0
        urls.append('https://music.163.com/discover/playlist/?&limit=35&offset='+str(i*35))
    for url in urls:  #爬取n页歌单
        playhtml = getHtml(url,headers=headers)#获得歌单页面
        playidlist = getplayList(playhtml)  #解析出歌单的id、每个歌单名字
        for u in playidlist:  #构造每个歌单url，用于下载歌单中的音乐
            start_url_list.append('https://music.163.com'+u[0])
        for url in start_url_list:
            gedan_n += 1
            html = getHtml(url,headers=headers) #获得每个歌单页面
            idlist = htmlParser(html)  #得到每首歌的id
            for id in idlist:
                urlls.append('https://music.163.com/song?id='+id) #构造每首歌的url，用于获取歌曲名字和歌手信息
            for url in urlls:
                html = getHtml(url,headers) #获得每首歌曲页面
                name_singer_list.append(get_name_singer(html))#解析出歌曲名字和歌手信息，存为一个列表
            getMusic(idlist,name_singer_list,gedan_n,i+1)  #下载音乐
main()

这里有一个问题，我爬了两个歌单，但我保存下来的音乐里边只有第一个歌单的数量，也用了追加写，等整明白了再来更改。