蜘蛛不爬取，您检查过网站的robots了么

robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要

单独设置的情况下。两者的功能是一样的。


Meta robots标签必须放在和之间，格式：





content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，


也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：


1.index,follow：允许抓取本页，允许跟踪链接。


2.index,nofollow：允许抓取本页，但禁止跟踪链接。


3.noindex,follow：禁止抓取本页，但允许跟踪链接。


4.noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。


以上1和4还有另一种写法：


index,follow可以写成all，如：





noindex,nofollow可以写成none，如：





需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所


以，尽可能的使用robots.txt文件来限制抓取