iaskspider---a bad robot

新浪爱问的蜘蛛,竟然不遵循robots.txt的规定,我的robots.txt不允许任何蜘蛛访问,可是iaskspider仍然我行我素,极度气愤!

我的网站只允许Baiduspider.

 

User-agent: Baiduspider
Disallow: User-agent: * Disallow: /
 
[name:Hateful spider]
[From AlphaWu.Blog]

你可能感兴趣的:(spider)