网易云音乐评论爬取

咳咳,终于要搞网易了,好激动啊

我开始以为网易云的加密很简单,但是最终还是小看他了
不得不说网易的程序员为了那些情怀满满的音乐评论还是下了很大的功夫的

这里不放源码了,毕竟大家都不容易

简单说下思路:

encSecKey: 575a0c3e5f8b805c7a123b1065ea2769aac0072abb9cbe05306afa1016575bba6f9bf6a1d8ee4103501291defb64644a0858552bcb6020a704ba49df134013352a488e5386601216eb3523a79f9eac1308698bf5fb2b5a7658836d3c7e7add82922deaf1dfee1ca28ce58133022a3e2fab6b928d0ae34db0b3805ec422343090
params: S4HuRU9CrN50HC8h3rqFbQjnBFC5ADAUJ81JZ+dUaET+R/w9iywS2T/DmbC1ukFx+BoSGAC9e5nHM5zcPf1ILQX2L+npQAQEEytrJj8k0CZri54akIUf9fReiftDMF9vwjWrQEQhNTB/cC9Z41RnMuWsU/dAjcJO/gej2FxSdK1mNgXtDVfJqmwwhaD8C42n

乍一看,不就是这两个加密的参数吗,没关系,我们来搞一波

搜下encSecKey,就能找到加密的代码了,代码copy下来,调试下,传入的参数有哪些…这个不难

开始模拟吧,我擦,返回为空?..这个是什么情况??
网易云音乐评论爬取_第1张图片

曾经一度怀疑自己扒下来的代码是不是有问题…
再试一遍…tm还是空,你倒是给我点反应啊…

再深入分析之,原来是cookie在作怪

_ntes_nuid

这个cookie决定了你能不能正常访问到结果
巴拉巴拉,我最喜欢巴拉别人的js了

关键到了
_ntes_nuid是由js生成的,依赖于浏览器的某些属性(可自行分析之),更重要的是他依赖另一个cookie,就是JSESSIONID-WYYY,那么再去找JSESSIONID-WYYY吧,调试无数次,就是不知道怎么生成的,就是断不下来啊,人生几多无奈,还好方法总是比较多.这里不表具体生成JSESSIONID-WYYY的代码,也是对网易工程师辛勤劳动的尊重.
巴拉巴拉…
终于圆满成功了!!截图不能错过!
网易云音乐评论爬取_第2张图片

你可能感兴趣的:(爬虫)