python3 网易云音乐评论走一波
音乐的评论相对来说有一丢丢困难，主要在于它嵌套的循环多一点，还多了个翻页，下面详细介绍：
思路：
1：由于评论的页数随着评论数目在不断增加，首先要匹配而歌曲总的页数
2：然后将页数作为for循环的最大循环次数，每循环一次都要翻页一次（模拟点击）
3：匹配出评论内容，并且写进去数据库
4：控制最外层循环就是循环歌曲的id，把匹配评论这部分内容打包成类，然后创建一个browser全局变量作为参数传进去
导入使用的模块：
from lxml import html
import time
from selenium import webdriver
import re
import csv
import pymysql
class Demo:
comment_list = [] # 定义评论列表文件
writer_list = [] # 定义评论者列表
# 写入数据库
conn = pymysql.connect(host='localhost' ,user = 'root',passwd = '123456',db= 'wyy' ,charset = 'utf8mb4')
curs = conn.cursor()
创建一个构造方法，将全局变量browser和url作为参数，保证在切换歌曲url的时候保持原来的浏览器窗口不变。浏览器等待的时间我是慢慢试出来的，如果时间过短的话网页加载不完，会抛错找不到contentFrame，在尝试的时候肯定是时间越短越好。
def __init__(self,browser,url):
self.browser = browser
time.sleep(2)
self.browser.get(url)
self.browser.implicitly_wait(65)
try:
self.browser.switch_to.frame('contentFrame') # 进入frame
except Exception as e:
print(e)
下一步就是找到所有的页数，笔者在这使用的是xpath匹配，python3直接导入xpath的时候会报错，及时是最新版的lxml依然会报错，所以就先导入html，再实例etree对象，通过观察每一大页都会有匹配出来text13个，观察一下最大页所在的位置，当页数超过8的时候len(texts)-4是最大页数的索引。但是还有一种情况就是如果页数在8之内，其他的文本就是None,所以需要判断一下，如果文本是None就索引减一直到找到数字就代表找到了最大页数。接下来就是循环了，返回最大页数。
def all_pages(self):
etree = html.etree
htmls = self.browser.page_source
codes = etree.HTML(htmls)
texts = codes.xpath("//a[@href='#']")
# for te in texts: #记录一下总的文本数量13个
#print(te.text)
s = 4
while (s<=13):
pa = texts[len(texts) - s].text
if pa == None:
s = s+1
else:
last_page = int(pa)
return last_page
接下来就是中心部分了，抓取我们想要的评论，匹配出‘下一页’的按钮，每循环一次翻页一次，定位出评论的文字并且写入数据库。比较简单
def get_comment(self, pages):
for x in range(pages): #64是需要抓取的页面总数***
button = self.browser.find_element_by_link_text('下一页') # 通过找到‘下一页’的按钮进行翻页
time.sleep(2)
# print(button.text)
aa = self.browser.find_elements_by_xpath('//div/div[2]/div[1]/div[1]') # 定位评论文字
for i in aa:
# print(i.text)
a = re.search('：', i.text) # 通过正则表达式进行“：”定位，得出左边是评论者，这个要去掉
# print(a)
if a:
n = i.text.index('：') + 1
writ = i.text[:n].replace(':', '') # 只保留从“：”左边的文字，就是纯正的作者名
comm = i.text[n:] # 只保留从“：”右边的文字，就是纯正的评论文字
self.curs.execute("insert into data (writer,comment) values (%s,%s) " ,(writ, comm))
self.conn.commit()
else:
#comment_list.append('')
print('')
self.conn.commit()
print('抓取了>>>>' + str(x+1) + '<<<<页')
try :
button.click() # 自动进行“下一页”的按钮
except Exception as e:
print(e)
然后就是主函数了，在主函数里创建浏览器的对象，在这里笔者设置成浏览器不加载图片，这样在运行中会节省一些时间，用到了上一篇我们写的歌曲id，最后浏览器不要忘了关了。在这我单独找了一些评论页数少于8页的歌曲id，用来测试切换url的效果。
if __name__ == '__main__':
id = open('F:/music/网易云音乐歌曲信息.csv', 'r', encoding='utf-8-sig')
id_reader = csv.DictReader(id)
columns = [row for row in id_reader]
#columns = [439646311,1348918118,541076059,1303464240] # 测试切换id
chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options= chrome_options)
for id_new in columns:
new_id = id_new['歌曲id']
url = 'https://music.163.com/#/song?id=' + str(new_id) # 测试的时候换成id_new
dd = Demo(browser=browser, url = url)
pages = dd.all_pages()
dd.get_comment(pages)
print('********************************进入下一个************************************')
time.sleep(3)
dd.browser.close()
参考：https://blog.csdn.net/johnchiao/article/details/83959089
嗯呐，然后就可以一直爬下去了…
笔者爬虫新人，有写的不对的地方的还请读者留言希望能帮助到需要的人。