Robots文件作用

Robots文件介绍；

robots.txt是一个纯文本文件，用于声明该网站中不想被robots访问的部分，或者指定搜索引擎蜘蛛只抓取指定的内容。

robots.txt不是规定，而是约定俗成需要搜索引擎蜘蛛自觉遵守一种道德习俗。

当一种搜索引擎蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt。

如果找到，搜索引擎蜘蛛就会按照该文件中的内容来确定抓取的范围

如果该文件不存在，那么搜索机器人就沿着链接抓取。

Robots文件作用：

防止私密或重要内容被搜索引擎抓取

节省服务器资源，从而提高服务质量

减少重复抓取，提高网站质量

指定sitemap文件位置

网站地图：

网站地图，又称站点地图，上面放置了网站上所有的页面链接。当访客在网站上找不到自己需要的信息时，可以将地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。通过网站地图可爬行到网站的各个页面。网站也可以通过添加网站地图提高网站收录量。

网站地图的形式：HTML网站地图、Xml网站地图

网站地图制作（爱站SEO工具）

死链的形式：协议死链、内容死链

死链产生的原因：网站改版、伪静态设置、站内链接规划错误、虚拟主机设置

如何检测出死链：

网站在运营过程中出现经常出现死链，因此，SEO人员需要提前查找出死链并及时提交处理，那么如何查找死链呢？

这里介绍一款常用的死链检测软件——Xenu；或者站长工具中 死链接检测工具都OK

死链处理方法：

Robots文件设置、搜索引擎站长后台提交死链、请求删除百度快照

nofollow添加方法：

最常用的方法，直接给链接添加上nofollow属性标签、或者是在网页的meta标签中添加nofollow属性标签。

nofollow的作用：

站内nofollow标签：主要用于站内不重要的页面，如“关于我们”、“订阅本站”等，这些页面质量较低，可以忽略掉。

站外nofollow标签：用于论坛签名、帖子等，这些内容质量较低的页面，可以有效防止这些链接对网站造成不良影响。

网站内部链接优化技巧：

网站首页设置网站地图并提交搜索引擎

减小网站文章链接深度

创建文章关键词锚文本

不排名页面添加nofollow标签

频道页、内容页相互建立链接

注意链接的相关性和用户体验

内部链接要保证URL的唯一性

注意控制内部链接