了解基础的谷歌搜索引擎知识对谷歌SEO很重要，我们重点讲下谷歌搜索引擎的抓取，索引和排名。搜索引擎是应答机器，它的存在是为了发现，理解和组织互联网上的内容，以便为搜索者提出的问题提供最相关的结果。
为了显示在搜索结果中，我们的内容首先要对搜索引擎可见。这可以说是搜索引擎优化中最重要的一部分：如果找不到我们的网站，那么网站将无法在SERP（搜索引擎结果页面）中显示。
谷歌搜索引擎如何运作？
谷歌搜索引擎有三个主要功能：
抓取：在互联网上搜 索内容，查看每个网址的代码/内容。
索引：存储和组织在爬行过程中找到的内容。一旦页面在索引中，它就会在搜索中显示为相关查询的结果。
排名：提供最能回答搜索者查询的内容。按照对特定查询最有帮助的搜索结果排序。
什么是抓取？
抓取是搜索引擎发送一组机器人（称为爬虫或蜘蛛）以发现新内容或者的过程。内容可能会有所不同，可能是网页，图片，视频，PDF等，但无论格式如何，内容都是通过链接发现的。
机器人首先获取几个网页，然后按照这些网页上的链接查找新的URL。通过沿着这些链接，蜘蛛能够找到新内容并将其添加到索引，以便在搜索结果中显示。
什么是索引？
搜索引擎处理并存储他们在抓取中找到的信息，索引是储存内容的庞大数据库。
什么是排名？
当人们在谷歌搜索时，搜索引擎会在其索引中搜索高度相关的内容，然后对该内容进行排序，以期解决搜索者查询的问题。搜索结果按相关性排序称为排名。通常，我们可以假设网站排名越高，搜索引擎认为该网站对查询的相关性就越高。
注意：在SEO中，并非所有搜索引擎都是一样的
许多初学者都对特定搜索引擎的相对重要性感到疑惑。大多数人都知道谷歌拥有最大的市场份额，但对Bing或者其他搜索引擎进行优化有多重要？事实是，尽管有30多个搜索引擎，但是一般只做谷歌的SEO。因为谷歌的市场份额最大，使用的人数最多。加上谷歌图片，谷歌地图和YouTube，超过90％的网络搜索发生在谷歌，这是Bing和其他搜索引擎的近20倍。
抓取
搜索引擎可以找到我的网站吗？
正如我们刚刚了解到的那样，确保网站被抓取并编入索引是显示在SERP（搜索结果）中的先决条件。我们可以使用“site:yourdomain.com”（一种高级搜索运算符）来查看我们网站的哪些页面被收录。
在谷歌搜索栏中输入“site:yourdomain.com”。我们可以看到自己网站的收录情况。
Google显示的结果数量有时候并不准确，但它可以让我们充分了解网站上索引的网页以及它们当前在搜索结果中的显示方式。
要获得更准确的结果，我们可以在Google Search Console中查看索引状态。如果目前没有Google帐户，可以注册免费的Google Search Console帐户。使用此工具，我们可以为网站提交站点地图，并监控我们网站的优化排名情况。
如果网站没有显示在搜索结果中，则可能有以下几种原因：
1，外贸英文网站是全新的，尚未抓取。
2，英文网站未链接到任何外部网站。
3，网站的架构使机器人难以有效地抓取它。
4，网站包含robots文件，阻止搜索引擎抓取。
5，网站受到了谷歌的惩罚。
搜索引擎抓取整个网站吗？
搜索引擎可以通过抓取来查找网站的一部分页面，但其他页面可能会因某种原因而无法抓取。确保搜索引擎能够发现我们想要编入索引的所有内容，而不仅仅是网站的主页，这一点非常重要。如果出现抓取的问题我们可以通过以下几点解决：
1，网站内容隐藏在登录表单后面吗？
如果我们要求用户在访问某些内容之前登录（填写表单或回答调查），搜索引擎将无法看到这些受保护的页面。
2，网站是否依赖搜索表单？
机器人无法使用搜索表单。有些人认为，如果他们在自己的网站上放置搜索框，搜索引擎就能找到网站所有内容，这是错误的。
3，文本是否隐藏在非文本内容中？
我们重要的文本内容不应该放在网站图片或者视频中。虽然搜索引擎在识别图像方面越来越好，但仍无法保证他们能够阅读和理解图像。最好在网页的标记中添加文本。
搜索引擎可以深度访问网站导航吗？
正如爬虫需要通过链接发现网站一样，在我们的网站仍然需要链接，以便在页面之间引导它。如果你有一个页面，你希望搜索引擎找到它，那这个页面应该链接到更多的页面。许多网站都在以搜索引擎无法访问的方式构建导航，从而阻碍了网站在搜索结果中的排名。
可能会使抓取工具无法抓取网站所有内容的错误导航：
1，移动导航显示的结果与桌面导航不同
2，菜单项不在HTML中的任何类型的导航，例如启用JavaScript的导航。谷歌在抓取和理解Javascript方面做得很好，但它仍然有缺陷。确保Google发现，理解和索引某些内容的办法是将其放入HTML中。
3，对于特定类型的访问者设置特定的网站导航，可能会不利于搜索引擎的抓取。
4，忘记通过导航链接到网站上的主页，请记住，链接是抓取工具跟随新页面的路径！
这就是为什么网站必须具有清晰的导航和有用的URL文件夹结构。
网站信息架构
良好的网站信息架构可以提高用户的访问效率，为用户提供更直观的内容。最好的信息架构应该是直观的，这意味着用户不必费劲心思地想通过网站或找到需要的东西。
当访问者点击死链接或错误输入网址时，网站还应该有一个404（页面未找到）页面。最好的404页面允许用户点击回到我们的网站，这样他们就不会因为他们试图访问不存在的链接而退出。
告诉搜索引擎如何抓取网站
除了确保抓取工具可以访问最重要的网页之外，还要注意网站上有不希望它们找到的网页。这些可能包括具有精简内容的旧URL，重复的URL（例如电子商务的排序和过滤器参数），特殊促销代码页，登录或测试页等等。
阻止搜索引擎中抓取网页也可以帮助抓取工具确定最重要网页的优先级，并最大限度地提高抓取效率（搜索引擎机器人在网站上抓取的平均网页数）。
通过抓取工具指令，可以使用robots.txt文件，元标记，sitemap.xml文件或Google Search Console来控制Googlebot要抓取和索引的内容。
robots.txt文件
Robots.txt文件位于网站的根目录（例如yourdomain.com/robots.txt）中，它可以告诉搜索引擎哪些部分应该不被抓取或者被抓取（不是所有的搜索引擎都会遵守Robots.txt文件）。
提示：
1，如果Googlebot无法找到网站的robots.txt文件（40X HTTP状态代码），则会继续抓取该网站。
2，如果Googlebot找到网站的robots.txt文件（20X HTTP状态代码），它通常会遵守这些建议并继续抓取该网站。
3，如果Googlebot既未找到20X或40X HTTP状态代码（例如501服务器错误），则无法确定网站是否拥有robots.txt文件，并且不会抓取网站。
Meta指令
Meta指令是经常使用的命令。它为抓取工具提供有关如何抓取和索引网址内容的详细说明。
如果想大规模阻止搜索引擎，元标记提供了更多的灵活性功能，因为我们可以使用正则表达式，阻止非HTML文件以及应用全站点的noindex标记。
*对于非常敏感的URL，最佳做法是删除它们或要求安全登录以查看页面。
WordPress模版网站提示：在仪表板>设置>阅读中，确保未选中“搜索引擎可见性”框。这会阻止搜索引擎访问网站！
站点地图
站点地图是网站上的网址列表，抓取工具可以使用这些网址来发现和索引内容。我们可以创建站点地图文件，并通过Google Search Console提交。虽然提交站点地图并不能取代导航栏的作用，但它肯定可以帮助爬虫跟踪所有重要页面。
Google Search Console
某些网站（最常见的是电子商务）通过将某些参数附加到网址，在多个不同的网址上提供相同的内容。如果你曾在网上购物，则可能会通过过滤器缩小搜索范围。例如，在亚马逊上搜索“鞋子”，然后按大小，颜色和样式优化搜索。每次细化时，URL都会略有变化。Google如何知道向搜索者提供哪个版本的网址？我们可以使用Google Search Console中的网址参数功能告诉Google我们希望谷歌如何处理网页。
索引
搜索引擎如何理解并记住网站
一旦确保网站已被抓取，下一个目标就是确保将其编入索引。因为网站被搜索引擎发现和抓取并不一定意味着它被编入索引。在爬虫找到页面后，搜索引擎会像浏览器一样呈现它。在这样做的过程中，搜索引擎分析该页面的内容。所有这些信息都存储在其索引中。
我可以查看Googlebot抓取工具如何访问我的网页吗？
是的，网页的缓存版本将反映googlebot最后一次抓取它的快照。
Google以不同的频率抓取和缓存网页。一般来说好的网站要比差的网站抓取频率更多一些。
我们可以通过单击SERP中URL旁边的下拉箭头并选择“Cached”来查看页面的缓存版本：
页面是否会从索引中删除？
是的，页面可能从索引中删除！主要原因包括：
1，该URL返回“未找到”错误（4XX）或服务器错误（5XX）– 这可能是偶然的（页面被移动并且没有设置301重定向）或故意（页面被删除）
2，该URL添加了noindex元标记 –网站所有者可以添加此标记，以指示搜索引擎从其索引中省略该页面。
3，该网址因违反搜索引擎的网站管理员指南而受到人工处罚，因此已从索引中删除。
4，在访问者访问该页面之前，已添加密码，因此已阻止蜘蛛爬行。
如果出现了网页没有被抓取和索引的情况，可以通过Search Console中的“ 提交网址 ”工具手动将网址提交给Google 。
排名
谷歌搜索引擎如何对网址进行排名？
为了确定相关性，搜索引擎综合使用算法或公式多维度的检索和排序存储的信息。多年来，这些算法经历了许多变化，以提高搜索结果的质量。例如，Google 每天都会进行算法调整- 其中一些更新是次要的质量调整，而另一些则是用于解决特定问题的核心/广泛算法更新，例如谷歌企鹅算法解决垃圾邮件的问题。
为什么算法经常变化？虽然谷歌并不透露具体算法细节，但谷歌在进行算法调整时的最终目标是提高整体搜索质量。因此如果的你网站在算法调整后受到影响，请将其与Google的网站质量指南或搜索质量评估指南对比，进行网站的改进。
搜索引擎想要什么网站？
在搜索引擎眼中只有一种网站是最好的：以最有用的方式为搜索者的问题提供有用的答案。如果这是真的，那么为什么现在看来SEO与过去几年不同？
从某人学习新语言的角度考虑一下。
起初，他们对语言的理解非常简单，随着时间的推移，他们的理解开始加深，开始学习语义（语言背后的意义以及单词和短语之间的关系）。最后，通过足够的练习，他们能够很好地理解语言，甚至能够理解细微差别，并且能够为模糊或不完整的问题提供答案。
回到搜索引擎，当搜索引擎刚刚开始学习我们的语言时，某些作弊手法可能会容易骗过搜索引擎。以关键字填充为例。如果你想为某个特定的关键词排名，比如“帽子批发”，你可以在页面上多次添加“帽子批发”这些词，然后加粗，一般这样会有不错的排名。这种策略造成了糟糕的用户体验，它可能在过去有效，但现在搜索引擎已经能够识别出这是作弊。
链接在SEO中的作用
网站链接一般分为两种：网站内部链接和反向链接。反向链接或“入站链接”是指别的网站指向我们的网站，而内部链接是指自己网站上指向其他网页（在同一网站上）的链接。
链接在SEO中发挥了重要作用。原来搜索引擎主要依靠外链来确定网站的排名，但是现在排名的因素变得多样化。
反向链接与现实生活中的投票推荐非常相似。我们以一家bread面包店为例：
1，来自他人的推荐=良好的权威标志
示例：许多不同的人都告诉过你，bread是镇上最好的面包店
2，来自你自己的推荐=有偏见，不具有权威
示例：珍妮声称珍妮的面包是镇上最好的
3，来自不相关或低质量来源的推荐=不是一个好的权威标志，甚至可能会被标记为垃圾外链
示例：从来没有购买过面包店的人说面包很好。
4，没有推荐=不明确的权威
例如：面包店可能会很好，但你一直找不到任何有意见的人，所以你无法确定。
这就是创建PageRank的原因。PageRank（谷歌核心算法的一部分）是以谷歌创始人之一拉里佩奇命名的链接分析算法。PageRank通过测量指向它的链接的质量和数量来估计网页的重要性。假设网页越相关，重要且值得信赖，它将获得的链接越多。从高权威（可信）网站获得的自然反向链接越多，网站在搜索结果中排名越高的几率就越大。
网站内容很重要
内容不仅仅是文字; 它是任何被搜索的东西，比如视频，图像，当然还有文字。如果搜索引擎是应答机器，则内容是引擎提供这些答案的手段。
每当有人进行搜索时，都会有数千种可能的结果，那么搜索引擎如何确定向搜索者提供有价值的页面呢？其中一个重要因素是页面上的内容与查询意图的匹配程度。换句话说，这个页面是否匹配搜索到的单词并完成搜索者试图完成的任务。
没有严格的基准规定内容应该有多长，应该包含关键字的次数，或者在标题标记中添加的内容，我们要把重点应放在将要阅读内容的用户身上。
谷歌发展至今，有数百甚至数千个排名因素，但有三个一直没有改变：链接到网站（作为第三方可信度信号），页面内容（满足搜索者意图的高质量内容），以及RankBrain。
什么是RankBrain？
RankBrain是Google核心算法的机器学习组件。机器学习是一种计算机程序，通过新的观察和分析数据不断改进其预测。换句话说，它总是在学习，并且因为它总是在学习，所以搜索结果不断改进。
例如，如果RankBrain注意到排名较低的URL比排名较高的URL向用户提供的结果更好，RankBrain将调整搜索结果，将更相关的结果排名得更高并将较低相关页面排名降低。
由于谷歌将继续利用RankBrain推广最相关，最有用的内容，因此我们需要专注于满足搜索者的意图。为可能登陆网页的搜索者提供最佳信息和体验。
谷歌工作人员透漏
虽然他们从未使用过“直接排名信号”这一术语，但Google已明确表示他们绝对会使用点击数据来修改特定查询的SERP。
根据Google前搜索质量主管 Udi Manber的说法：
“排名本身受点击数据的影响。如果我们发现，对于特定查询，80％的人点击＃2，只有10％点击＃1，过了一段时间我们发现可能＃2是人们想要的，所以我们将切换它。“
前谷歌工程师Edmond Lau的另一个评论证实了这一点：
“很明显，任何合理的搜索引擎都会在自己的搜索引擎上使用点击数据反馈到排名中，以提高搜索结果的质量。使用点击数据的实际机制通常是专有的，但谷歌明显表示它使用点击数据及其专利等系统，如排名调整的内容项目。“
由于Google需要维护和提高搜索质量，因此点击率指标是存在的。
各种测试证实，谷歌将根据搜索者的参与度（点击率等）调整页面排名：
1，兰德·菲什金（Rand Fishkin）2014年的测试结果显示，在让大约200人点击SERP的URL之后，排名第七的结果一直升至第一位。有趣的是，排名改善似乎与访问链接人的位置有关系。排名位置飙升在美国谷歌，这正是参与者所在的位置，而在谷歌加拿大，谷歌澳大利亚等页面上的排名仍然较低。
2，Larry Kim对 RankBrain之前和之后的首页及其平均停留时间的比较似乎表明，Google算法的机器学习组件降低了人们不会花费太多时间页面的排名位置。
3，Darren Shaw的测试也显示了用户行为对本地搜索和地图包结果的影响。
由于用户参与指标明确用于调整SERP的质量，SEO应该多关注页面质量和用户。
以上就是谷歌抓取，索引和排名的机制，针对谷歌算法提供了一些SEO指导，希望对大家有帮助。
更多谷歌SEO知识请关注微信公共号：waimaoseo
QQ: 3537064140
或者给我们留言。