运用谷歌浏览器的开发者工具,模拟搜索引擎蜘蛛抓取网页

第一步:按压键盘上的F12键打开开发这工具,并点击右上角三个小黑点

第二步:选择More tools

第三步:选择Network conditions

第四步:找到User agent一列,取消复选框的勾选

第五步:选择谷歌爬虫agent即Googlebot

第六步:在当前浏览器地址栏中,输入想要访问的网站地址,直接访问。返回的页面就是爬虫看到的页面。

运用谷歌浏览器的开发者工具,模拟搜索引擎蜘蛛抓取网页_第1张图片

你可能感兴趣的:(爬虫)