规范的 SEO 失败

这篇文章不是关于教学，而是关于你的幸灾乐祸，对我来说是宣泄。这是一个不幸的 HTML 标签如何将我踢出几乎所有搜索引擎和几个月前的故事。以及为什么它最终并不重要。

这一切都始于 2020 年 12 月：作为与 Google 持续冷战的一部分，Apple宣布将Ecosia作为可能的默认搜索引擎添加到 iOS 14.3。从本质上讲，它是Bing搜索索引的前端，具有利用利润种植树木的额外好处。

正如一个人所做的那样，我做的第一件事就是试图搜索我的名字，然后……空无一物。

小心地，我检查了其他搜索引擎：DuckDuckGo: 只是我的LinkedIn还有……我的 RSS 提要！？变得紧张，我去了必应本身：只是一些我忘记在页面上的旧废话。怀疑最坏的情况，我去了运行自己的索引器的Yandex ：只有我的首页（至少！）。最后，我检查了我的统计数据，发现我只从谷歌获得流量，而没有其他搜索引擎。

现在我知道有些事情很不对劲。

调查

这个网页自 2004 年以来就存在，我从来没有花太多时间在搜索引擎优化 (SEO) 上。我尝试编写我希望存在的好内容，因此得到共享和链接。我也尝试拥有良好的标记和 URL，但仅此而已。尽管没有任何显着的流量，但这些年来我的访问量略有增加，所以我没有理由花大量时间在上面。如果我想知道发生了什么，现在情况发生了变化。因此，我最终在 Bing、Yandex 和 Google 开设了网站管理员帐户。

调查并没有花很长时间，因为当我尝试检查 Bing 的索引时，我得到了这个：

Bing - 以及使用他们索引的每个人 - 都认为我所有的 URL 实际上只是索引页面的替代版本，并且拒绝将它们编入索引。Yandex的快速检查确认这是同样的问题。整洁的！

原来，这完全是我自己的错，因为我主页上的每个页面都有以下标签：

它从字面上告诉爬虫，索引页面是他们现在正在爬取的任何内容的规范版本。

---

出于某种原因，它是我的基本模板的一部分。为什么我把它放在那里？我不知道！也许我使用了错误的Hugo变量。也许我认为标签意味着不同的东西（指定我的规范域？）。它是更大的重新设计的一部分，所以我的git历史也无济于事.

无论如何，损害已经造成：随着时间的推移，每当 Bing 和 Yandex 的爬虫来检查页面是否有更新时，他们都会看到标签并将页面从索引中删除，直到什么也没有被留下。

消除损坏

修复很简单。我只需要在我的基本模板中更改一行：

- 
+ 

我是在 2020 年 12 月 24 日这样做的。

但从后果中恢复所需的时间比我想象的要长得多。

---

虽然搜索引擎使用自动爬虫来查找新内容，但它们也有机制告诉他们新的和更新的内容。据说是手动发送爬虫而不是等待他们有机地注意到变化——这可能需要一段时间。

有一些众所周知的文件，比如sitemap.xml，有一些按钮说“请求重新索引”，然后是 Web API 和 Web 表单，您可以在其中转储您想要（再次）抓取的 URL 列表。

这些实际上都没有做任何事情，除了 Bing 告诉我他们会做的。所有这些输入显然最多被视为建议。

我重新提交了我的站点地图，并降低了更新间隔，提取了 URL 并提交了它们以进行重新索引，并手动单击了一些 URL请，请，请重新索引它们。但几周来绝对没有发生任何事情。

也许我绝望的刺激将我标记为 SEO 增长黑客。也许规范标签是最坏的情况，从根本上降低了这些页面的优先级。无论如何，检查必应是否已经知道我的存在并手动要求它重新索引我的关于页面已成为日常工作。

我不得不等到2021 年1 月4 日才能做到这一点。差不多两周的乞讨和讨价还价。但是，这并不意味着这些页面在结果中！直到2 月，在 Bing 上搜索我的名字才开始返回我的关于页面。

这也不意味着我所有的页面都被重新索引了。事实上，我可以看到“实时”弹出的页面，因为 Bing 在接下来的几个月里重新发现了它们。有一个方便的仪表板可以显示索引页面的数量：

一段时间内的索引页数。

如您所见，尽管我进行了催促，但直到3 月，我的整个主页才再次被完全索引。

---

所以，总而言之，我花了将近三个月的时间从我的愚蠢错误中恢复过来。尽管有大量有机、高质量的反向链接。

喵上漫画App，拥有超高人气漫画上万部，高清画质非常流畅！

谷歌呢？

我没有在上面提到谷歌，但我没有早点注意到它是他们的错。即使是现在——在修复了 SEO 损害之后——我从谷歌获得了大约 90% 的搜索流量。如果您的生计不依赖于它，并且您没有整天盯着分析数据，那么 10% 的流量就不算什么。

谷歌只是决定忽略该标签，因为该页面与“规范”页面差异太大。

在某种程度上，这让我想起了浏览器大战，“最好的”浏览器是最能理解每个人都在Geocities上使用的乱码 HTML 的浏览器。

得到教训

1. 如果您认为配置错误的 DNS 需要很长时间才能修复：请三思。

2. 谷歌非常擅长索引网站。即使你不经意间让他们更难了。

3. 使用替代搜索引擎的人比您想象的要少得多（精通技术！）。对于这个页面，DuckDuckGo 占 4%，Bing 占 2%，百度占 1.3%。但是，如果网络流量将食物放在您的餐桌上，那么 6% 就没什么好嘲笑的了。

4. 如果您经营一个网站，请至少使用Google和Bing创建一个网站管理员帐户，这样您就可以立即了解这些问题。不喜欢我，多年后，偶然。同样，谷歌真的很擅长主动告诉你问题。