WPO网站性能优化对搜索引擎蜘蛛行为的影响
如上图所示，网页的访问速度和Google收录情况密切相关。在2011年5/6两个月，网站平均页面打开时间约2.2秒,Google蜘蛛每天爬行的页面大约是2～5万，每天下载的网站字节数大约是200～500兆。在2011年8月份网站优化后，网站平均页面打开时间是0.9秒左右，Google蜘蛛每天爬行的页面飙升到接近20万/天，每天下载的网站字节数大约1G。也就是说，BuyOnMe.com 页面打开速度越快，网站被搜索引擎关注度越高，蜘蛛爬行越频繁。这样的结果是很容易预测的，BuyOnMe.com在Google搜索结果出现率更高，从而提升网站与搜索用户的接触面，最后直接带动销售。而实际销售情况也证明了这一点，BuyOnMe.com网站7月份的销量略有提升，但8月份的销量超过5/6月份平均销量的三倍，这个成绩相当不错，因为7/8月份是公认的海外贸易的淡季。
对于很多网店而言，产品可能有数万个页面，加上评论页面、比价页面、用户论坛，可能达到几十万个页面，如果再做一些SEO页面爆炸式优化之后，可能有数百万个页面。搜索引擎的收录速度对网站的SEO影响很大，试想如果谷歌每天仅仅收录数百个页面，一个数百万的网站可能需要10年才会被全部收录。
而搜索引擎的收录速度，其中一个重要影响因素就是你的网站访问速度，也就是网站WPO的优劣。搜索引擎这么做是有道理的，原因有二：
1. 搜索引擎的蜘蛛的跟踪网址、爬行、存储需要耗费带宽和服务器资源。如果一个网站虽然页面很多，但访问速度很慢，蜘蛛自然来得没那么勤快了。我记得好像在Zac的某篇博客上看到一个猜测：在某一段时期内，搜索引擎分配给某个网站的蜘蛛爬行时间可能是动态平衡的，这样访问速度快的网站，蜘蛛爬行的次数和频率会更高。不仅会更高，而且这个动态平衡值可能还会上升。因为蜘蛛喜欢快网。
2. 页面访问速度已经成为搜索引擎为网站加权、加排名的重要因素。这一点在Google Webmaster Central Blog谷歌官方博客2010年4月的一个帖子中有说明
http://googlewebmastercentral.blogspot.com/2010/04/using-site-speed-in-web-search-ranking.html
非常可惜的是，需要翻出去才能看到。在这里节录并翻译一下
You may have heard that here at Google we’re obsessed with speed, in our products and on the web. As part of that effort, today we’re including a new signal in our search ranking algorithms: site speed. Site speed reflects how quickly a website responds to web requests.
Speeding up websites is important — not just to site owners, but to all Internet users. Faster sites create happy users and we’ve seen in our internal studies that when a site responds slowly, visitors spend less time there. But faster sites don’t just improve user experience; recent data shows that improving site speed also reduces operating costs. Like us, our users place a lot of value in speed — that’s why we’ve decided to take site speed into account in our search rankings. We use a variety of sources to determine the speed of a site relative to other sites.
笔者翻译
你也许听说过Google是速度控，你从我们的各种产品中都能看出来这一点。今天我们来点儿更狠的，我们会在排名算法中加入全新因素：速度。网站速度反映了网站对用户请求的反馈有多快。
加速你的网站很重要——不仅仅对于网站拥有者，也对所有的互联网用户。访问快的网站会让访客很high，而且我们还研发发现，访问慢的网站让访客很纠结。网站速度快，不仅仅提升了用户感受，而且减少了系统消耗。比如俺们谷歌，我们花了大价钱来优化速度——这就是我们为啥要在搜索排名中加入速度因素。我们会用多种模式来判断某网站相对其他网站的速度。
如果你觉得网店的例子不够有力，下面还有一组数据，是来自于性能优化的神人Steve Souders的博客的，里面的数据相信足够有说服力。在这里不得不插两句，说说这位老哥的伟大功绩，正所谓“平生不识Steve 便做WPO也枉然”。Steve Souders这个名字没有听过？那么《高性能网站建设指南》和《高性能网站建设进阶指南》一定有印象吧，在第一本书中，Steve提出了网站建设前端性能优化的著名的14条军规，为无数WPO (Web Performance Optimization)人奉为经典。就是这个Steve Souders，在他的博客中提到这样一组数据
– Bing: 2 秒的延迟将导致收入降低 4.3%/用户;
– Yahoo!: 400ms 延迟会导致流量下降 5-9%；
– Google: 400 ms 延迟将导致每用户搜索请求下降 0.59%；
– Shopzilla 将页面载入时间从 7秒缩减到 2秒，转化率提升了 7-12%，页面请求增加 25%，只用一半服务器就够了
– Mozilla 将下载页时间缩短 2.2 秒之后下载量增加15.4%;
– Netflix 在服务器端启用 gzip ，页面快了13-25%，节省了 50% 的网络流量；
[引用信息源：Steve Souder的博客http://www.stevesouders.com/blog/2010/05/07/wpo-web-performance-optimization/ ]
通过上面的数据，也许我们能看到性能优化对于网站的重要性。我们建立的网店，往往更多的时间花费在改善功能和SEO优化上，却经常忽略了性能优化，也许这就是那块神秘“短板”，能够让你的网站ROI发生神奇的变化！
作者: 谭砚耘@WPO及网站可用性-科研笔记
版权属于: 谭砚耘 （TOTHETOP至尚国际 ）
版权所有。转载时必须以链接形式注明作者和原始出处
http://www.webusability.cn/wpo-affecting-seo-spider-37/
如果你希望与作者交流，请发送邮件到 tanyanyun/at/163.com 别忘了修改小老鼠