搜索引擎蜘蛛多长时间更新一次DNS

为了加快抓取速度,专业的搜索引擎大部分有DNS缓存:但是搜索引擎多长时间更新一次,3月4日的时候cnblog.org进行了一次 IP切换。旧服务器上的日志和统计并没有停止: AWStats数据统计如下。
搜索引擎网站的机器人 (前 10)   -   全部列出   -   最近参观日期 	 
35 个机器人*	文件数	字节	最近参观日期
Sina Iask	2509	38.61 M字节	2006年 三月 09日 18:32
OutfoxBot	838	9.81 M字节	2006年 三月 15日 02:31
Yahoo Slurp	419+66	6.09 M字节	2006年 三月 19日 21:38
BaiDuSpider	137+36	2.17 M字节	2006年 三月 18日 06:31
Googlebot	147+2	1.74 M字节	2006年 三月 11日 19:03
Unknown robot (identified by 'crawl')	130+1	1.56 M字节	2006年 三月 18日 13:33
Turn It In	93	236.54 K字节	2006年 三月 04日 01:33
MSNBot	80+7	1.52 M字节	2006年 三月 04日 04:37
BecomeBot	77+2	920.27 K字节	2006年 三月 04日 13:37
Bloglines	71	43.51 K字节	2006年 三月 04日 04:08
虽然大部分的spider访问很快迁移到新的服务器上了:但是很多spider仍然没有来得及更新DNS。 大搜索引擎中:反应最快的是MSNBot,当天之后就再也没有来访问过。Google用了1周左右,百度前天还在访问,而Yahoo的Slurp抓取仍然没有中断。而其他一些蜘蛛引擎:一般在当天就更新了DNS,缓存时间比较短。 作者: 车东 发表于:2006-03-20 13:03 最后更新于:2007-04-17 11:04
版权声明:可以转载,转载时请务必以超链接形式标明文章 搜索引擎蜘蛛多长时间更新一次DNS 的原始出处和作者信息及 本版权声明。
http://www.chedong.com/blog/archives/001132.html

你可能感兴趣的:(运维)