判决文书网爬虫获取vjkl5失败原因

判决文书网爬虫获取vjkl5失败原因_第1张图片判决文书网爬虫获取vjkl5失败原因_第2张图片以前通过http://xxxx/list/list?xxxx就可以通过cookie返回vjkl5值,最近无论你咋搞就是不返回vjkl5值,纳闷啊,但浏览器跟踪确实返回vjkl5了。

经过分析,估计vjkl5值是通过js延时动态生成再set-cookie了(还是通过edge浏览器发现了分3次返回cookie,churome没发现分次,edge是烂,但这次还是帮上忙了),到此终于明白为什么爬虫返回的cookie里没有vjkl5信息了。

解决思路:先通过浏览器访问,再把浏览器的cookie读出来,果然这样读到vjkl5值了,哈哈,大功告成!!!

 

1. webbrowser1.Navigate(url);

2.

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; const URL: OleVariant);

begin
    webCookies:=(WebBrowser1.Document as ihtmldocument2).cookie;
end;

其它处理还是老样子,就是通过cookie取vjkl5变了

希望大家看了小声点,不要让蛋疼的文书网知道,省得他又搞小动作害大家取不到数据啦!!!

你可能感兴趣的:(Javascript,Delphi)