网络优化中怎么减轻蜘蛛的抓取?

喜欢就 关注 我们吧！

概述 ： 

Wo - 公号「八点半技术站」的创作者 - Bruce.D （姓氏：豆）。

2020 年又快要结束了，我是科技技术类的一位号主，也是一位互联网的IT工程师，但在今日8.31我要给自己立了一个target，目标在11月30（三个月）的时间，做到粉丝5000+，目前有1200+ ，拭目以待~~~

回归今日主题：

网络优化中，我们如何减轻蜘蛛的抓取？？？采用 6种方式教你提升的网站的访问速度 。（本篇阅读预计花费：4分钟）

欢迎各位加入社群，技术交流不分语言、不分高低 。

内容 ：

一般来说，让搜索引擎捕获和索引更多的内容往往是seo们头疼的问题。没有包容和索引，就谈不上排名。特别是对于一个具有一定规模的网站来说，要使网站完全被收录是一项相当费劲的SEO技术。

一、使用Flash

几年来，搜索引擎一直试图抢占flash的内容。简单的文本内容已经可以被抓取。falsh中的链接也可以被跟踪。

二、形式

搜索引擎蜘蛛还可以填写表单 和 获取 post请求页面，这可以在日志中看到。

三、Js / Ajax

使用js链接一直被认为是对搜索引擎不友好的方法，因此可以防止蜘蛛爬行。但是2年前，Js链接是无法阻止搜索引擎蜘蛛爬行。不仅会对Js中出现的Url进行爬网，还可以执行简单的Js来查找更多的URL 。

四、robots文件

目前确保内容不被包含的方法是禁止robots文件。但也有一个缺点，就是重量会减少，虽然内容不能包含在内，但页面却成了一个只接受链接重量而不流出重量的无底洞。

五、限制跟踪

Nofollow不保证不包括在内。即使NF被添加到你网站上所有指向该页面的链接中，你也不能其他网站不会获得指向该页面的链接。搜索引擎仍然可以找到这个页面。

六、metanoindex + follow 

为了防止集合转移权重，我们可以在页面上使用metaindex 和 metaflow，这样页面就不包括在内，而是可以流出权重，这是一个不错的办法。

总结：

如何使网页不被收录是一个值得思考的问题。网站优化，你可以考虑在你的网站上有多少重复的内容、低质量的内容、各种各样的非搜索值分类和过滤网址。

一般来说，让搜索引擎捕获和索引更多的内容往往是seo们头疼的问题。没有包容和索引，就谈不上排名。特别是对于一个具有一定规模的网站来说，要使网站完全被收录是一项相当费劲的SEO技术。

比如，当页面达到几十万个页面时，无论网站架构如何设计和优化，都不可能100%包含网站，所以我们只能尽量提高包含率。

分割线

恭喜你、又读完了一篇文章，有什么建议 & 反馈，留言区见。

同时，为了方便大家学习、交流、分享技术干货，可以扫下面二维码 ，备注 “技术进群” 就可以通过审核。

进群的小伙伴请加右侧私人微信（备注：技术进群）

-----商务合作分隔线----

商务合作，关注公众号回复“商务合作”，