爬取JS动态加载的页面

参考知乎:https://www.zhihu.com/question/21471960/answer/154098407
爬取网页上的评论:http://music.163.com/#/song?id=86375
爬取JS动态加载的页面_第1张图片

请求评论数据的参数:params 和 encSecKey ,同时在Name栏目可以清楚地看到处理该参数的 js 文件为 core.js
爬取JS动态加载的页面_第2张图片

爬取JS动态加载的页面_第3张图片

美化JS代码后搜索这两个参数
爬取JS动态加载的页面_第4张图片

我们会发现这两个参数来源于window.asrsea的函数加密,window.asrsea需要四个参数,为了弄清楚这四个参数的来源,我们可以改变本地core.js代码,并用fildder替换执行。

爬取JS动态加载的页面_第5张图片

关于如何使用fiddler替换使用的方法参考fiddler替换服务器上文件进行本地调试

爬取JS动态加载的页面_第6张图片

然后清除Chrome的缓存文件,并重新发送网页请求

替换之后查看Chrome中的console输出,查看四个参数的值信息,可以看出除了bl其他的几个参数都是固定的字符串值。再看bl值,bl 值由字典构成,总共有五个key值。

  • rid:rid值由一个固定字符串R_SO_4_和歌曲的id构成
  • offset:表示当前是第几页的评论数据
  • total:固定值true
  • limit:每页显示多少个评论,默认20
  • csrf_token:无关可以为空

爬取JS动态加载的页面_第7张图片

我们知道了参数的来源,弄清楚函数的具体执行流程是什么,一切就豁然开朗了。追踪window.asrsea 函数,找到如下内容,现在我们就弄明白了所有的流程了。

爬取JS动态加载的页面_第8张图片

既然弄清楚了所有的JS加密流程下面就有几种方法去解决。

你可能感兴趣的:(网络爬虫)