爬虫与反爬之艺龙反爬(code值的生成,上,参数篇)

最近发现该网站的code值生成方式是改了又改(一周一改?简直是爬虫劝退),难道是因为网络上的爬虫请求量增大了还是怎么回事!!
本文只提供学术研究。

肉文来了:

        此处针对详情页来研究,

爬虫与反爬之艺龙反爬(code值的生成,上,参数篇)_第1张图片
   

通过debug可已找生成code的js函数 abcdefg, 其参数dynamicScrip(dynamicScript = "KP1XdhhXPrLWzxAhwj...........)可以在请求中找到(如下图),参数type则为字符串"detail",

爬虫与反爬之艺龙反爬(code值的生成,上,参数篇)_第2张图片

另外如果在发起该请求时必须携带cookie(不然一会请求的时候会给假数据,去年还没有这个操作,只是会在此请求中写入一些cookie),不然会给假数据,至于cookie初始哪里来,可以清掉所有cookie刷新下页面来看一下,通过抓包可以发现,如下图,

爬虫与反爬之艺龙反爬(code值的生成,上,参数篇)_第3张图片

 

这篇文章就说到这里,因为要是把解析也写进来,还需要再贴上几张图,那样文章会比较长,看起来不舒服,写起来更不舒服,具体解析可以看下篇。

你可能感兴趣的:(爬虫,Python,Js逆向,PyExecJS,elong)