YaCy—基于P2P的分布式开源搜索引擎

  YaCy是一个基于P2P的分布式网页搜索引擎系统,任何人都可以用YaCy为自己建立个人的搜索门户,以实现信息的自由共享。经过了长达5年的开发,YaCy团队于2011年11月发布了这个开源的、分布式搜索引擎的1.0版本。该版本基于GPL许可,被设计用来替代目前的一些由一家公司集中托管的传统搜索服务,如Google等。 
    
  其核心是分布在数百台计算机上的被称为YaCy-peer的计算机程序,基于p2p网络构成了YaCy网络,整个网络是一个分散的架构,所有的peer处于对等的地位,没有统一的中心服务器,每个peer独立地进行互联网的爬行抓取,分析及建立索引库,并通过p2p网络进行共享;而且每个peer又都是一个独立的代理服务器,能够对本机使用的网页进行索引,也通过本机运行的web服务器进行查询和返回结果,电脑会整理出自己的独立搜索索引和排名。
  
  YaCy同时也是一个Http缓存代理服务器,它可以搜索你自己的或全局的索引,也可以抓取自己的网页或启动分布式Crawling等。YaCy可以用于局域网中的本地搜索。
  YaCy搜索引擎主要包括五个部分,除普通搜索引擎所具有的爬行器、索引器、反排序的索引库外,它还包括了一个非常丰富的搜索与管理界面以及用于数据共享的P2P网络。
  
  YaCy采用多种机制保护用户的隐私,YaCy网络基于点对点连接,而不是通过中央服务器进行搜索查询,保证内容不被审查,而且所有的搜索请求都被加密,搜索结果不会被中央服务器记录和分析。
  YaCy提供Windows、Linux、Mac OS版本的程序供下载,Windows下是一个exe的文件,直接安装,即可以进行搜索。YaCy第一个版本已经发布,目前有14亿份文档已编入索引,已完成了13万次搜索。专业的科学搜索引擎Sciencenet也是基于YaCy技术。
  本文地址: http://playkid.blog.163.com/blog/static/562872602014815111228800/

你可能感兴趣的:(YaCy—基于P2P的分布式开源搜索引擎)