如何辨别真假百度蜘蛛

  当网站抓取异常时,非常有可能是假蜘蛛在作怪。


那么如何辨别真假蜘蛛辨别:Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议使用DNS反查方式来确定抓取来源的ip是否属于百度。 在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”

有名称为:220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛,除此之外,都属于假蜘蛛。

发现假蜘蛛就要及时的在服务器上屏蔽这个IP。

 

你可能感兴趣的:(百度)