第三代搜索引擎技术与P2P

第三代搜索引擎技术与P2P

第二代搜索引擎虽然比第一代在搜索速度、针对多种语言信息的扩展等方面有所改进，在以自然语言为查询语言方面也做了一些探索。然而，随着Internet的强势发展，网上庞大的数字化信息和人们获取所需信息能力之间的矛盾日益突出。IDC在2001年下半年公布的一份报告表明，前期被大肆宣传为“使用简便易用，搜索结果丰富”的搜索引擎技术正在被信息更集中的局域网取代，因为大多数搜索系统的表现与用户的期望值相差太大，诸如数据量高速增长的视频、音频等多媒体信息的检索，现在仍然是无法突破的难题。 　　一般的公共搜索引擎只能查到HTML格式，主要的原因是搜索引擎的自动排序软件Spiders蜘蛛程序，只能接受这种格式的网页。这意味着，在企业内部的局域网上，任何没有使用HTML格式的信息将无法被外部的搜索引擎查到。这就是为什么像PPT、Word、PDF、电子邮件等文件，以及ERP、CRM等应用软件的数据库的信息会长期的“沉没”在信息的海底中。 　　如何解决这些难题已成为第三代搜索引擎探索的方向。一个好的搜索引擎不再仅凭借数据库大小、更新频率、检索速度、对多语言的支持这几个基本特性来衡量，随着数据库容量的不断膨胀，如何从庞大的资料库中精确地找到正确的资料，被公认为是下一代搜索技术的竞争要点。比如在某搜索引擎中查询“旅游”这个词，返回的信息超过一百万条，假定一个人3秒钟查看一个网页，就算只查看其中10%的网页，一刻不停地看下去也需要十多个小时。 　　好在搜索引擎技术发展迅速，诸如智能化、个性化特色的新型引擎与过去的搜索引擎相比有了很大的区别。智能搜索可以通过对搜索内容相关性的自动学习，来提高搜索结果的准确度。不过，现在还没有一种可行的方式真正实现智能化，很难将所需信息一定显示在前两三页的搜索结果之中。 　　另一个颇受瞩目的搜索技术就是将P2P技术应用到网页的检索中。通过共享所有硬盘上的文件、目录乃至整个硬盘，用户搜索时无需通过Web服务器，不受信息文档格式的限制，即可达到传统目录式搜索引擎无可比拟的深度(传统引擎只能达到20%～30%的网络资源)。美国一家新兴搜索引擎设计公司i5 Digital在两年前已正式推出了依据对等搜索理念的商业性搜索引擎Pandango(www.pandango.com)，但至今仍未进入主流搜索引擎阵容的事实，则说明P2P搜索目前也只能称为是未来的技术。 　　“P2P搜索这个理念我最早是1997年底在Infoseek听到的，当时的Infoseek里已经有人提出并开始考虑这种搜索技术了”，李彦宏表示，“各个网站上都有一个自己的小的搜索引擎，大家相互之间可以进行沟通，如果这个引擎查不到，可以通过其他的引擎查，就是这样的一个概念。但是到目前为止，它离实际的应用还差得非常远，主要是违反了关键性指标中有关速度的问题。由于有很多这种小的相互独立又相互链接的引擎，其速度与集中式管理的搜索引擎相比肯定会差很多”。 　　商业应用与学术研究之间总会存在一定的距离，但这并不是表示商业界不重视对技术的追求，尤其是像Google这些已经处于该领域金字塔塔尖的公司。Google拥有一个开放性数据库，内含一百多个未来需要实施的项目，这些项目由五十位计算机科学博士负责推进。2002年6月，Google专门成立了“实验室”，以展示他们在互联网搜索领域里最新研究的技术，并发布在互联网(labs.google.com)上供公众试用，广泛收集用户的反馈意见。实验室里已经展示的项目，包括键盘检索、语音检索等等。 　　或许有些人会认为，这些所谓的实验项目似乎看不出搜索引擎技术将在观念上进行大的转变，实际上，搜索引擎技术在8年多的时间里一直是以一个渐变的过程在发展。“一个搜索引擎并不是说某一方面好就能受大众喜欢，必须方方面面做到了才行”，李彦宏这么认为，“现在搜索还不能完全满足人们的需求，因为需求太多样化，很难一一满足”。这也是主流搜索引擎目前更重视在细节上下功夫的原因。 　　无论如何，包括Google的佩杰在内的搜索技术领域的领先者都认为，最终的搜索引擎将是智能化的，能够理解世界上的所有事物。佩杰还是Web服务技术领域积极的参与者，他正在尝试将Web服务技术应用到搜索当中，以解决跨平台、多格式的信息检索。而我们现在所见到的，主流搜索技术把注意力集中在提升自身搜索引擎质量、扩展应用范围，比如支持图片检索、PDA等移动手持设备的检索，这些都将成为下一代技术实现过程中必不可少的步骤。