禁止所有搜索爬虫访问网站指定目录robots.txt

禁止所有搜索爬虫访问网站指定目录

用自己私人的服务器来测试吧,99买阿里云

文件放置不让爬取的网站文件夹目录里

robots.txt

User-agent: *
Disallow: /

禁止所有搜索爬虫访问网站指定目录robots.txt_第1张图片

User-Agent值可改为:

搜索引擎 User-Agent值
Google googlebot
百度 baiduspider
雅虎 slurp
MSN msnbot
Alexa is_archiver

你可能感兴趣的:(禁止所有搜索爬虫访问网站指定目录robots.txt)