[数据统计] 搜索引擎索引库:百度大于雅虎中国 之一

[数据统计] 搜索引擎索引库:百度大于雅虎中国 之一

互联网渗透的越深、世界就会越平;信息越透明,诚信越重要---题记



关心搜索引擎的朋友们都知道,搜全率和搜准率是衡量搜索引擎系统的两项基础指标,在很多关于搜索引擎技术评比的文章中搜全率和搜准率被频频提及。

搜准率是一个很难量化的指标,如何判断一个搜索引擎的搜索结果和使用者的意图最相关,没有一个定性的结论。所以很多冠以智能化、社会化、元搜索头衔的搜索引擎也都是朝搜准这个方向努力,耐人寻味的是,大多数公司都宣称自己的搜索引擎是基于那些技术,却没有告诉我们一个可以接受的衡量指标。当然,这不怪他们。

搜全率相对来说则可以量化,最简单的衡量指标就是索引量了。google和yahoo 之间曾有过争论:“实测证明Google仍是搜索之王 雅虎"牛皮"吹破” 。对于这次争论google是如何反击的呢?正如keso所说的google在反商业化的上的成功一样,google 随后不久透露要减小索引库的大小。很显然对于浩如烟海的互联网来说,能搜全仍是一个艰巨的目标。

类似的情景正在中国上演。在“It人士每天必读的100篇互联网新闻”上经常可以看到雅虎中国的宣传稿件,主题有开创蓝海、搜索盲测、抓虫行动等等,而百度此类的新闻却鲜有耳闻。百度的低调或许可以让他在靠近“google”的形象上多加一分。


中文搜索引擎谁最好?除了搜全率和搜准率外,最近又多出了一个争论的焦点:“谁最懂中文”。然后在这场单方面发起的谁最懂中文的时候,搜狗却实实在在的来了句:“搜狗更懂网络”。我想雅虎市场人员也许该从百事可乐的成功中学点什么。

作为一个搜索引擎的爱好者,我对搜全率和搜准率的问题也非常关注。于是动手准备测试一下雅虎中国和百度索引库的情况。这并不是一个好差事,但我决定还是尝试一下。

搜全率的测试方法:基本方法:抽样测试
分2个阶段进行:
1、测试对指定站点的索引量 (本文进行分析)
2、测试对基础关键词的索引量(在下一篇文章中进行分析)


本文的数据主要是对“指定站点的索引量”的一个数据统计。

基本资料分三部分:
1、指定站点的来源,出于公平的考虑,指定站点分别来源于:http://site.baidu.comhttp://site.yahoo.com.cn 。总共4784个,可以从下面的链接下载。
2、对上述站点的索引量统计,即使用:site:domain 的方法获取搜索引擎对此站点的索引量。为了增加可比性,去掉了索引量为0的站点(或许因为网络错误造成的,原始资料在附件中)。
(前端时间百度的site数量变化有些异常,现在基本正常。另一篇文章会捎带分析这个现象。)
3、相关分析。


结果见下图:

[数据统计] 搜索引擎索引库:百度大于雅虎中国 之一_第1张图片

(分析过程省略,详细的数据可以从这里下载: http://www.search-analysis.com/baiduVSyahoochina-01.rar


结论:
1、百度的索引库比雅虎中国的大。
在双方都认为最重要的3793个站点中:百度索引量:1626829061 ,雅虎中国的索引量:1018594668,高出:608234393 ,高出6亿。


2、百度的索引量分布图比较接近“长尾 Long Tail ”,长尾曲线比较完美。图形越接近长尾表明搜索引擎索引库基础的架构越好。
(理由是:"哥白尼对天动说美学上的反对是他拒绝托勒密体系的重要原因..." - Thomas Kuhn, The Copernican Revolution )

很显然上面的分析还不一定能囊括所有方面,因此我准备还从下面几个方面继续深入研究:

之二:[百度vs雅虎中国]收录量和pr的相关性;
之三:[百度vs雅虎中国]索引量和alexa排名的相关性;
之四:[百度vs雅虎中国]如何测试搜索索引库的膨胀率;

原文: [数据统计] 搜索引擎索引库:百度大于雅虎中国 之一

你可能感兴趣的:(搜索引擎,互联网,百度,Google,Yahoo)