搜索引擎蜘蛛模拟器

比如有人会问，

如何查看百度蜘蛛是否来过我的网站？

本文就能解答你的问题

本人打算使用浏览器来模拟各大蜘蛛来看爬行我的网站的结果，而蜘蛛与普通用户访问最大的区别就在于http的request的header的
HTTP_AGENT_USER
的不同，详细关于这部分的信息，请参看我的另外一篇博文：

服务器端如何判断访问来自用户还是搜索引擎的蜘蛛

http://blog.360converter.com/archives/1791

而我发现Firefox, Chrome, Safari都没办法让你更改这个值，你也就没法模拟，因此我打算自己写一个出来，供大家使用，写完后我会共享出来。如果大家有需要的，发邮件给我，发给你。

[email protected]

代码部分已经完成，可以使用，为了方便使用，我现在添加界面部分。