假冒谷歌爬虫成为第三大 DDoS 攻击工具

在安全牛之前发布的文章《Prolexic发布2014年第一季度全球DDoS攻击报告》中，我们了解到采用“反射放大”技术发起的攻击流量比上一季度增加了39%，同时攻击者也在不断发掘利用其他一些互联网基础服务来发动DDoS攻击，例如今年3月安全公司Sucuri发现黑客利用超过16.2万WordPress网站的Pingback功能进行大规模DDoS放大攻击。

近日，新的研究表明，假冒谷歌爬虫已经成为第三大DDoS攻击工具，详情如下：

Incapsula研究人员在调查了搜索引擎在1万家网站上的4亿次搜索访问后，发现超过23%的假冒谷歌爬虫被用于DDoS攻击，10.8%被用于窃取数据的恶意软件、垃圾邮件和扫描器。

分析结果中的一些亮点对于很多对于SEO专业人士和网站运营者来说非常有趣：

谷歌的web爬虫比其竞争对手（如MSN/Bing、百度和Yandex bots）的要活跃深入得多。

被谷歌爬虫访问次数多的网站，其自然流量份额并不会随之增长，这意味着谷歌对网站并没有特殊关照。

平均每个网站每天会被谷歌爬虫访问187次，每次访问平均抓取深度是4页。内容密集型以及频繁更新的网站，例如论坛、新闻站点、大型电商网站被爬虫光顾的次数较多。

由于谷歌依然是全球第一搜索引擎，因此绝大多数网站运营者都不会屏蔽谷歌爬虫，但遗憾的是，这也导致假冒谷歌爬虫得以大行其道，发起DDoS攻击、剽窃内容、发送垃圾信息甚至入侵系统。

假冒的谷歌爬虫能以谷歌的身份获取网站信息，它们利用了谷歌爬虫的HTTP(S)用户代理——功能相当于一个访客的ID。根据Incapsula收集的数据，超过4%的使用用户代理的爬虫都不是真正的谷歌爬虫。

通过分析5000万个假冒谷歌爬虫会话数据，Incapsula发现高达34.3%的假冒爬虫都是恶意的，其中23.5%被用于7层DDoS攻击。

假冒谷歌爬虫发起的DDoS攻击让网站经营者非常难办：要么屏蔽所有谷歌爬虫，从搜索引擎中消失，要么购买更多带宽来防范DDoS。

假冒谷歌爬虫的访问通常来自僵尸网络，排名靠前的流量大国依次是美国（25.2%）、中国（15.6%，编者按：多么讽刺），土耳其（14.7%），巴西（13.49%）和印度（8.4%），而正牌的谷歌爬虫则98%都来自美国。

好消息是，人们如今可以通过一系列安全手段精确识别假冒谷歌爬虫，包括IP和ASN核对——一种通过来源地识别爬虫的技术流程，但遗憾的是，中小网站通常不掌握这些手段。