怎么快速的让网站被收录？搜索引擎的工作原理

工具与资源中心

帮助开发者更加高效的工作，提供围绕开发者全生命周期的工具与资源

https://developer.aliyun.com/tool?spm=a1z389.11499242.0.0.65452413KlyaNB&utm_content=g_1000283979

要想在搜索引擎中有好的排名表现，网站收录是基础。另一方面，页面收录的数量级也代表了网站的整体质量。在我看来，要想收录百度网站，首先要了解搜索引擎的工作原理，这样才能迎合搜索规则，让网站收录达到理想状态。

搜索引擎的工作原理非常复杂，下面我们就来简单说一下搜索引擎如何收集并实现网页的排名。

搜索引擎的工作过程大致可以分为三个阶段：

1.爬行和抓取：搜索引擎蜘蛛通过跟踪链接来查找和访问网页，读取网页的HTML代码，并将其存储在数据库中。

2.预处理：索引程序对抓取的页面数据进行文本提取、中文分词、索引、倒排索引等处理，供排名程序调用。

3.排名：用户输入查询词后，排名程序调用索引数据库数据，计算相关性，然后按照一定格式生成搜索结果页面。

首先，爬行和抓取

1)蜘蛛通道。相信大家都知道。当蜘蛛访问任何网站时，它都会首先访问网站根目录中的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件和目录，蜘蛛会遵守协议，不会抓取被禁止的URL。

2)跟踪链接。为了在互联网上抓取尽可能多的页面，搜索引擎蜘蛛会跟踪页面上的链接，并从一个页面爬到下一个页面。最简单的爬行策略分为两种：一种是深度优先，另一种是广度优先。

深度意味着蜘蛛沿着发现的链接爬行，直到前面没有其他链接，然后返回第一页，沿着另一个链接爬行。

Broadness是指当蜘蛛在一个页面上找到多个链接时，它不会一路跟随一个链接前进，而是一次爬完页面上所有的一级链接，然后沿着二级页面上找到的链接爬到三级页面。

3)吸引蜘蛛。如果SEO人员想被收录到百度网站上，就要尽量吸引蜘蛛来抓取，因为蜘蛛只能抓取有价值的页面。这里有五个影响因素：网站和页面权重、页面更新程度、导入链接、与首页的距离和URL结构。

4)地址库。为了避免反复抓取和爬取网站，搜索引擎会建立一个地址数据库，记录已经找到但没有爬取的页面，以及已经爬取的页面。蜘蛛在页面上找到链接后不会立即访问，而是将网址存储在地址库中，然后统一安排爬行。

地址库中有几个网址来源：

(1)手动输入种子网站；

(2)蜘蛛抓取页面后，从HTML中解析出新的链接URL，并与地址库中的数据进行比较。如果地址库中没有网站，将存储在地址库中进行访问；

(3)站长通过界面提交的网址；

(4)站长通过XML网站地图和站长平台提交的网址；

(5)文件存储。搜索引擎蜘蛛捕获的数据存储在原始页面数据库中。

(6)爬行时检测复制的内容。

搜索引擎的工作原理

二、预处理

在一些SEO经验分享中，“预处理”也被称为“索引”，因为索引的主要内容是预处理：

1.提取文字

我们存储在原始页面数据库中的是HTML代码，其中不仅包含用户可以直接在页面上看到的文本内容，还包含JS、AJAX等搜索引擎无法用于排名的其他内容。首先要做的是从HTML文件中移除这些无法解决的内容，提取出可以排序的文本内容。

2.中文分词

分词是中文搜索引擎的一个独特步骤，在存储/处理页面/用户搜索时基于词。基本上有两种方法：一种是基于字典匹配，另一种是基于统计。

3.去停止词

无论是英文还是中文，页面上有一些词出现频率很高，对内容没有影响，比如：的、啊、哈等。这些单词叫停止词。搜索引擎将删除这些停止词，使数据主题更加突出，并减少不必要的计算。

4.去噪声词

大多数页面中有一些内容对页面的主题贡献不大。比如A页的内容是一篇关于百度网站的文章，关键词是百度网站。然而，除了解释这个内容的主要内容之外，还有页眉、页脚和广告等区域一起组成了这个页面。

出现在这些部分的单词可能与页面内容本身的关键词无关。搜索引擎的排序程序在对数据进行排序时无法参考这些有噪声的内容，因此需要在预处理阶段对这些噪声进行区分和消除。消除噪音的方法是根据HTML标签将页面分成块，如页眉标签和页脚标签等。删除这些区域后，剩下的就是页面的主要内容。

5.内容去重

也就是说，重复的网页被删除，同一篇文章经常在同一网站的不同网站/不同地址重复出现。为了用户的体验，重复数据删除是必要的，搜索引擎将识别并删除页面上的重复内容。这个过程也叫内容去重，也是影响百度网站收录的点之一。

6.正向索引

简称索引。经过以上步骤(提取、分词、消噪、去重)，搜索引擎最终得到能够反映页面主要内容、以词为单位的唯一内容。

接下来，搜索引擎的索引程序提取关键词，并根据由分词程序划分的单词将页面转换成由关键词组成的集合。同时需要记录频率、频次、格式(如标题标签、黑体、H标签、锚文本等。)和每个关键词在页面上的位置(如页面的第一段等)。).搜索引擎的索引程序会将页面和关键词构成的词库结构存储到索引数据库中。

7.倒排索引

远期指数不能直接用于排名。假设用户搜索关键字。如果只有正向索引，排名程序需要扫描索引数据库中的所有文件，找出包含关键字的文件，然后计算相关性。

这种计算无法满足实时返回排名结果的要求。搜索引擎会提前对所有关键词进行分类，将正向索引数据库重构为反向索引，将文件到关键词的映射转换为关键词到文件的映射。在倒排索引中，关键字是主键，每个关键字对应一系列文件。例如，显示在下面第一行右侧的文件都是包含关键字1的文件。这样，当用户搜索关键词时，排序程序在倒排索引中定位该关键词，并且可以立即找出所有关键词的文件。

三、搜索结果排名

经过前面的蜘蛛抓取页面，对数据预处理和索引程序计算得到倒排索引后，搜索引擎就准备好可以随时处理用户搜索了。用户在搜索框输入想要查询的内容后，排名程序调用索引库的数据，计算排名后将内容展示在搜索结果页中。

1、搜索词处理

搜索引擎接收到用户输入的搜索词后，需要对搜索词做一些处理，然后才进入排名过程。搜索词处理过程包括：中文分词、去停止词、指令处理。

完成上面的步骤后，搜索引擎对剩下的内容的默认处理方式是在关键词之间使用“与”逻辑。

比如用户在搜索框中输入“减肥的方法”，经过分词和去停止词后，剩下的关键词为“减肥”、“方法”，搜索引擎排序时默认认为，用户想要查询的内容既包含“减肥”，也包含“方法”。

2、文件匹配

搜索词经过上面的处理后，搜索引擎得到的是以词为单位的关键词集合。进入的下一个阶段：文件匹配阶段，就是找出含有所有关键词的文件。在索引部分提到的倒排索引使得文件匹配能够快速完成，假设用户搜索“关键词1 关键词2”，排名程序只要在倒排索引中找到“关键词1”和“关键词2”这两个词，就能找到分别含有这两个词的所有页面文件。

3、初始子集的选择

找到包含所有关键词的匹配文件后，还不能对这些文件进行相关性计算，因为在实际情况中，找到的文件经常会有几十、几百万，甚至上千万个。要对这么多文件实时进行相关性计算，需要的时间还是挺长的。百度搜索引擎，最多只会返回760条结果，所以只需要计算前760个结果的相关性，就能满足要求。

由于所有匹配文件都已经具备了最基本的相关性（这些文件都包含所有查询关键词），搜索引擎会先筛选出1000个页面权重较高的一个文件，通过对权重的筛选初始化一个子集，再对这个子集中的页面进行相关性计算。

4、相关性计算

用权重选出初始子集之后，就是对子集中的页面计算关键词相关性的步骤了。计算相关性是排名过程中最重要的一步，影响相关性的主要因素包括如下几个方面：

① 关键词常用程度

经过分词后的多个关键词，对整个搜索字符串的意义贡献并不相同。越常用的词对搜索词的意义贡献越小，越不常用的词对搜索词的意义贡献越大。所以搜索引擎对搜索词串中的关键词并不是一视同仁地处理，而是根据常用程度进行加权。不常用的词加权系数高，常用词加权系数低，排名算法对不常用的词给予更多关注。

② 词频及密度

一般认为在没有关键词堆积的情况下，搜索词在页面中出现的次数多，密度越高，说明页面与搜索词越相关。当然这只是一个大致规律，实际情况未必如此，所以相关性计算还有其他因素。出现频率及密度只是因素的一部分，而且重要程度越来越低。

③ 关键词位置及形式

就像在索引部分中提到的，页面关键词出现的格式和位置都被记录在索引库中。关键词出现在比较重要的位置，如标题标签、黑体、H1等，说明页面与关键词越相关，这一部分就是页面SEO所要解决的。

④ 关键词距离

切分后的关键词完整匹配的出现，说明与搜索词最相关。比如搜索“减肥方法”时，页面上连续完整出现“减肥方法”四个字是最相关的。如果“减肥”和“方法”两个词没有连续匹配出现，出现的距离近一些，也被搜索引擎认为相关性稍微大一些。

⑤ 链接分析及页面权重

除了页面本身的因素，页面之间的链接和权重关系也影响关键词的相关性，其中最重要的是锚文字。页面有越多以搜索词为锚文字的导入链接，说明页面的相关性越强。链接分析还包括了链接源页面本身的内容主题、锚文字周围的文字等。

小结：以上网站地图SEO详细分享了搜索引擎的工作原理，了解这些知识对于我们做百度网站收录有重要意义，比如标题要包含用户可能搜索的需求词，正文适量体现关键词或拆分词有助于判断内容与用户搜索词的相关性。