爬虫特技

  1. 查看robots协议,还会有sitemape定位网站内容;

  2. 利用site:url估计网站内网页数量;
    例如在百度内搜索site:wanimal 1983.org
    搜索结果:找到相关结果数约752个

  3. 识别网站所用技术builtwith.parse(url)

  4. 网站所有者whois.whois(url)
    5.pyQt和pySide

你可能感兴趣的:(爬虫特技)