爬虫入门——用python爬取网易云音乐热门歌手评论数

本文参考Monkey_D_Newdun 的文章

https://blog.csdn.net/Monkey_D_Newdun/article/details/79318629

用爬虫获取网易云音乐热门歌手评论数

运行平台：Windows 10

IDE：spyder

Python版本：3.6

浏览器：360

一、爬虫基本思路

a. 通过URL或者文件获取网页：打开网页-F12-找到需要获取的url，request header以及form data或parameters.

b. 分析要爬取的目标内容所在的位置

c. 用元素选择器快速提取(Raw) 目标内容

d. 处理提取出来的目标内容 （ 通常整理合成一个 Json）

e. 存储处理好的目标内容 （比如放到 MongoDB 之类的数据库，或者写进文件里。）

二、用到的包或模块

1.Urllib-request、requests负责连接网站，处理HTTP协议，返回网页。

2.bs4负责解析网页，将网页变成结构化数据，方便爬取

3.BeautifulSoup不用编写正则表达式也能方便的实现网页信息的抓取

4.re（正则表达式）：爬取bs4也难以爬取的内容

5.json ：解析器，结构化网页源代码

from urllib import request  
from bs4 import BeautifulSoup  
import requests  
import json  
import re  

step 1 获取歌曲评论数，以周杰伦《等你下课》为例

对链接解析没有用到beautiful soup是因为网易对评论数据采取的是异步传输，不能直接通过解析网页内容得到评论数据。

F12打开开发者工具，发现评论数据在一个名为"R_SO_4_531051217?csrf_token="的post请求中。

def comment_count(song_id):  
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36"}
               #agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应
    url="http://music.163.com/weapi/v1/resource/comments/R_SO_4_"+song_id+"?csrf_token="  
    data = {  
        "params": "nHfVBsNbW+WCrz7pAbdaq4uW2+4kADa+gNEfGWK7M5n36mWvsmGXsM2KzVUAeR62mhYlsSvc23I58Rf0dvg1Cglxuf5/l1wVRBCRROpjz9WuYSlWdiwXT/x45iud30RmjbTUsMSQuiehO6Ef3vHSdKWHma9pYm/eeYUF7IQ0hXI3HIz42NgwllBj4cy1XlOH",  
        "encSecKey": "0587c5b45f3b0771db2b3fe449e7dd9640ab56f679d73a9189096283e776e7a9f749630c6e0fa3f947778f1588b9ec71bd779279006f352e5804036909d5d772c9572c64db575bcce675fcc9055614f1c955abb798eed602cb43945748d8b0a9ecf293cde0ef523e63c3115a1a12b7113be447fba7947090f0d98d2c37cff72a"}  
    req=requests.post(url=url,headers=headers,data=data)  
    req.encoding="utf-8"  #utf-8编码，UTF-8是一种针对Unicode的可变长度字符编码，又称万国码。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。
    comment= json.loads(req.text)   #用于解码 JSON 数据，返回结构化Python字段的数据类型
    return comment["total"]  

if __name__=="__main__":  
    print(comment_count("531051217"))

step 2 获得歌手名字与歌手ID

def artist_id():  
    a_headers = {"Referer": "http://music.163.com/discover/artist"  }
          #对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer
    url="http://music.163.com/weapi/artist/top?csrf_token="    #在开发者选项找到热门歌手对应的url，请求方式为post
    data={"params":"uAE0hN7yRCy+plWTUJw7imQQW+wUSFRuVlFD8UTgXNfJTVLzNyqfnLRqSByCjs40san8rbwMfpasdpJRNit6vKkbQE0F7MZEgRPgSEVfXrHIB/wGiyYQ/VIaZnyTql1m",  
          "encSecKey":"def9762a8c6ff1f3ae1a7ee23cbc095b3dd6c888f28e974ca00f927fd044a48cfdde49af3138aa99fa7da17fdb97809c7d1abd4ddfc40ab7ef3c0e574e56b2d623c0c23af4d08c629087fd5e1996c961af133140dc81b9fb2322aca668a8079c6cd01a0699fc860b2bb0df47b3887d563f1b18e6585198bb5d9c718a5fa92f04"}  
    #用Requests和urlopen解析歌手页面的POST  
    req=requests.post(url=url,headers=a_headers,data=data)  #利用Request将headers，dict，data整合成一个对象传入urlopen
    #Request存在的意义是便于在请求的时候传入一些信息，而urlopen则不
    req.encoding="utf-8"   
    #解析所返回的JSON数据  
    a_data=json.loads(req.text)  #字典，含code,more,artist，其中artist是列表，含歌手名字与ID
    a_list=a_data["artists"]#刚刚观察返回数据可以知道歌手的信息储存在artists键中  
    id_list=[]#用一个列表储存所有歌手的id和name  
    for i in range(len(a_list)):  
        a_dict = {}#用一个字典储存一个歌手的id和name  
        a_dict["name"]=a_list[i]["name"]  
        a_dict["id"]=a_list[i]["id"]  
        id_list.append(a_dict)  
    return id_list  

if __name__=="__main__":  
    print(artist_id())  

输出为一个包含60个字典的列表：

[{'name': '周杰伦', 'id': 6452}, {'name': '陈奕迅', 'id': 2116}, {'name': '薛之谦', 'id': 5781}, {'name': 'BIGBANG', 'id': 126339}, {'name': '林俊杰', 'id': 3684}, {'name': 'Maroon 5', 'id': 96266}, {'name': '王菲', 'id': 9621}, {'name': '李荣浩', 'id': 4292}, {'name': 'G.E.M.邓紫棋', 'id': 7763}, {'name': '张学友', 'id': 6460}, {'name': '杨宗纬', 'id': 6066}, {'name': '许巍', 'id': 5770}, {'name': '蔡健雅', 'id': 7214}, {'name': 'Adele', 'id': 46487}, {'name': 'Bruno Mars', 'id': 178059}, {'name': 'Coldplay', 'id': 89365}, {'name': 'Justin Bieber', 'id': 35531}, {'name': '陈粒', 'id': 1007170}, {'name': '孙燕姿', 'id': 9272}, {'name': '赵雷', 'id': 6731}, {'name': '李志', 'id': 3681}, {'name': '王力宏', 'id': 5346}, {'name': '好妹妹乐队', 'id': 711683}, {'name': 'EXO', 'id': 759509}, {'name': 'Beyond', 'id': 11127}, {'name': 'Alan Walker', 'id': 1045123}, {'name': 'Fall Out Boy', 'id': 56782}, {'name': '金玟岐', 'id': 893259}, {'name': '宋冬野', 'id': 5073}, {'name': '朴树', 'id': 4721}, {'name': 'Eminem', 'id': 32665}, {'name': '李健', 'id': 3695}, {'name': 'OneRepublic', 'id': 98105}, {'name': 'Tobu', 'id': 964486}, {'name': 'Two Steps From Hell', 'id': 102714}, {'name': '陈小春', 'id': 2112}, {'name': '那英', 'id': 9061}, {'name': '莫文蔚', 'id': 8926}, {'name': '许嵩', 'id': 5771}, {'name': '苏打绿', 'id': 12707}, {'name': 'Ed Sheeran', 'id': 33184}, {'name': '谢安琪', 'id': 9952}, {'name': '杨千嬅', 'id': 10204}, {'name': '马頔', 'id': 4592}, {'name': '张国荣', 'id': 6457}, {'name': 'Charlie Puth', 'id': 90331}, {'name': '萧敬腾', 'id': 5768}, {'name': '张敬轩', 'id': 6462}, {'name': 'Wiz Khalifa', 'id': 46006}, {'name': 'Rihanna', 'id': 72724}, {'name': '张靓颖', 'id': 10561}, {'name': 'Ellie Goulding', 'id': 56598}, {'name': '张惠妹', 'id': 10559}, {'name': 'IU', 'id': 160947}, {'name': '防弹少年团', 'id': 783124}, {'name': '澤野弘之', 'id': 15290}, {'name': 'Carly Rae Jepsen', 'id': 50934}, {'name': 'G-Dragon', 'id': 123577}, {'name': '古巨基', 'id': 2849}, {'name': '五月天', 'id': 13193}]

step 3获取歌手热门单曲ID

def song_id(artist_id):  
    data={"id":artist_id}#将歌手ID作为params参数传入requests.get()方法 
    s_url="http://music.163.com/artist"  
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"}  
    req=requests.get(url=s_url,headers=headers,params=data)   #请求方式为get。在get请求中，允许使用params关键字，以一个字典来传递这些参数
    req.encoding="utf-8"  
    soup=BeautifulSoup(req.text,"lxml")#对返回的数据进行解析,lxml解析器，速度快，健壮性好
    song_list=soup.find_all("ul",class_="f-hide")#找到class="f-hide"的
标签  
    song_soup=BeautifulSoup(str(song_list),"lxml")#将
......
再解析一次，以便使用find_all()方法把所有标签取出来  
    song_list=song_soup.find_all("a")  
    id_list=[]#存歌曲ID  
    name_list=[]#存歌名  
    for each in song_list:  
        s_id=each.get("href")#歌曲ID在标签href属性中  
        s_name=each.string  
        s=re.findall(r"\d+",s_id)#用正则找到href中的ID  
        id_list.append(s[0])#由于re.findall()返回的是一个列表，所以用下标将ID取出  
        name_list.append(s_name)  
    return id_list,name_list  

if __name__=="__main__":  
    song_id_list,name_list=song_id(6452)    #以周杰伦为例
    print(song_id_list)  
    print(name_list)  

在get请求中，允许使用params关键字，以一个字典来传递这些参数，例如：

content={‘pageIndex‘:1,‘pageSize‘:10,‘categoryId‘:None}
r=requests.get(‘http://www.xxxxx.com/api/v2/activities‘ ,params=content)
print (r.url)

#结果

http://www.xxxx.com/api/v2/activities?pageIndex=1&pageSize=10

正则 re.findall 的简单用法

（返回string中所有与pattern相匹配的全部字串，返回形式为数组） 语法： findall(pattern, string, flags=0)

“d”是正则语法规则用来匹配0到9之间的数返回列表

import re
re.findall(r"\d\d\d","https://docs.python.org/3/whatsnew/3.6.html/1234")

输出：

['123']

import re
re.findall(r"\d\d","https://docs.python.org/3/whatsnew/3.6.html/1234")

输出：

['12', '34']

import re
re.findall(r"\d+","https://docs.python.org/3/whatsnew/3.6.html/1234")

输出：

['3', '3', '6', '1234']

step 4 获取歌手&总评论

if __name__=="__main__":  
    f=open("网易云评论.txt","w",encoding="utf-8")   #用写的方式打开网易云评论.txt这个文件
    id_list=artist_id()  
    for artist in id_list:  
        total=0  
        f.write("\n\n"+artist["name"]+"热门歌曲以及评论数：")  #写入文件网易云评论.txt：XXX（歌手名）热门歌曲以及评论数：
        song_id_list,name_list=song_id(artist["id"])   #两个列表，歌曲id&歌曲名
        for i in range(len(song_id_list)):  
            if(name_list[i]!=None):  #歌手澤野弘之有些歌曲名字为null
                total+=comment_count(song_id_list[i])  
                f.write(name_list[i]+":"+str(comment_count(song_id_list[i]))+"条")  
        f.write("总计："+str(total)+"条")  
        print(artist["name"]+"网易云音乐热门歌曲总评论数："+str(total)+"条")  
    print("抓取完毕！")  

输出：

周杰伦网易云音乐热门歌曲总评论数：710456条
陈奕迅网易云音乐热门歌曲总评论数：1340896条
薛之谦网易云音乐热门歌曲总评论数：3876733条
BIGBANG网易云音乐热门歌曲总评论数：72278条
林俊杰网易云音乐热门歌曲总评论数：1047567条
Maroon 5网易云音乐热门歌曲总评论数：376437条
王菲网易云音乐热门歌曲总评论数：676064条
李荣浩网易云音乐热门歌曲总评论数：669950条
G.E.M.邓紫棋网易云音乐热门歌曲总评论数：479356条
张学友网易云音乐热门歌曲总评论数：484701条
杨宗纬网易云音乐热门歌曲总评论数：566335条
许巍网易云音乐热门歌曲总评论数：417892条
蔡健雅网易云音乐热门歌曲总评论数：486667条
Adele网易云音乐热门歌曲总评论数：276238条
Bruno Mars网易云音乐热门歌曲总评论数：421597条
Coldplay网易云音乐热门歌曲总评论数：725671条
Justin Bieber网易云音乐热门歌曲总评论数：726028条
陈粒网易云音乐热门歌曲总评论数：845892条
孙燕姿网易云音乐热门歌曲总评论数：769744条
赵雷网易云音乐热门歌曲总评论数：1398742条
李志网易云音乐热门歌曲总评论数：773379条
王力宏网易云音乐热门歌曲总评论数：559485条
好妹妹乐队网易云音乐热门歌曲总评论数：565989条
EXO网易云音乐热门歌曲总评论数：113269条
Beyond网易云音乐热门歌曲总评论数：327790条
Alan Walker网易云音乐热门歌曲总评论数：1346941条
Fall Out Boy网易云音乐热门歌曲总评论数：261950条
金玟岐网易云音乐热门歌曲总评论数：681762条
宋冬野网易云音乐热门歌曲总评论数：771306条
朴树网易云音乐热门歌曲总评论数：536437条
Eminem网易云音乐热门歌曲总评论数：398636条
李健网易云音乐热门歌曲总评论数：236075条
OneRepublic网易云音乐热门歌曲总评论数：294360条
Tobu网易云音乐热门歌曲总评论数：435382条
Two Steps From Hell网易云音乐热门歌曲总评论数：643321条
陈小春网易云音乐热门歌曲总评论数：311270条
那英网易云音乐热门歌曲总评论数：177621条
莫文蔚网易云音乐热门歌曲总评论数：402836条
许嵩网易云音乐热门歌曲总评论数：3386821条
苏打绿网易云音乐热门歌曲总评论数：299000条
Ed Sheeran网易云音乐热门歌曲总评论数：431641条
谢安琪网易云音乐热门歌曲总评论数：264638条
杨千嬅网易云音乐热门歌曲总评论数：289710条
马頔网易云音乐热门歌曲总评论数：318597条
张国荣网易云音乐热门歌曲总评论数：504605条
Charlie Puth网易云音乐热门歌曲总评论数：676351条
萧敬腾网易云音乐热门歌曲总评论数：245439条
张敬轩网易云音乐热门歌曲总评论数：296725条
Wiz Khalifa网易云音乐热门歌曲总评论数：282971条
Rihanna网易云音乐热门歌曲总评论数：309311条
张靓颖网易云音乐热门歌曲总评论数：288221条
Ellie Goulding网易云音乐热门歌曲总评论数：166458条
张惠妹网易云音乐热门歌曲总评论数：264970条
IU网易云音乐热门歌曲总评论数：39468条
防弹少年团网易云音乐热门歌曲总评论数：96838条
澤野弘之网易云音乐热门歌曲总评论数：123395条
Carly Rae Jepsen网易云音乐热门歌曲总评论数：172148条
G-Dragon网易云音乐热门歌曲总评论数：64666条
古巨基网易云音乐热门歌曲总评论数：151144条
五月天网易云音乐热门歌曲总评论数：122676条
抓取完毕！
2018/4/23 00点11分