python爬取酷狗音乐歌词_python爬虫教程:爬取酷狗音乐

在常见的几个音乐网站里,酷狗可以说是最好爬取的啦,什么弯都没有,也没加密啥的,所以最适合小白入门爬虫

本篇针对爬虫零基础的小白,所以每一步骤我都截图并详细解释了,其实我自己看着都啰嗦,归根到底就是两个步骤的请求,还请大佬绕路勿喷。

1、打开酷狗官网,可以看到搜索框,我们要爬取的数据就是搜索歌曲后,酷狗后台返回的歌曲列表以及每首歌的歌曲信息(歌词、作者、url等)

2、敲F12键进入开发者模式,选择Network - All (这里就是酷狗前后台交互的所有请求列表)

3、搜索框中输入搜索内容,然后右侧就可以看到会出现很多列表,搜索的列表数据其实就在这里面一条,我已经红色框标注了(找出这个可以根据那个名字song_search,实在不行点开一个个看是不是所要找的内容)

4、点开这行,上面切换到Preview发现就是搜索结果的json数据,lists就是数据列表

5、点开一条歌曲,里面就包含歌曲名字,作者,AlbumID,FileHash等歌曲信息

6、然后我们上面切换到Headers,可以看到RequestURL(就是请求网址),下面箭头可以看到是GET请求

7、往下滑,可以看到Requset Headers(这个后端会验证heades,一般请求时user-agent都需要写上,有些还验证更偏的,需要看情况处理,酷狗倒是没有验证,不写headers请求也可以)和请求参数(这就是请求的参数,搜索关键词、请求数目等信息)

8、话不多说,我们直接用python的requests库(这个直接百度装一下就行)构造请求,我的环境是python

你可能感兴趣的:(python爬取酷狗音乐歌词)