如何抓取WebClient、HttpWebRequest、WebRequest无法获取的网页源码,下面将为你解答...
//由于我所抓取的网页有多个困难,1、以上三种无法获取到源码,无论设置何种头部请求都没用,2、单独只用webbrowser无法进行翻页操作。所以用webbrowser与IE结合来抓取//本项目流程——先打开IE、再用MSHtml里的方法操作IE表单,进行翻页,将列表中的网址在webbrowser一一打开,这样才获取得到源码。这个项目的意义在于,无论网站是何种方式加载,都可以抓取到内容。项目源码在文