JXTA CMS搜索技术的研究

1       引言

传统的信息检索技术已经无法容纳Internet上以指数形式增长的海量信息,P2P(Peer-to-Peer,对等网)应用程序采用了新的技术来检索Internet上的文件和信息。JXTA是一个用来解决P2P计算的开放式网络平台[1~4],JXTA 内容管理服务(Content Management Service,CMS)采用了一种实时化的方法来搜索自己想要的资源,以便对等节点(Peer)共享和下载内容。目前,基于JXTA CMS搜索方面的研究仍较少见于文献,本文介绍CMS的简单搜索、基于Metadata的搜索和分布式搜索。

2  CMS简单搜索

任何需要被共享的数据称为内容(Content)。每一份共享内容都有一个独一无二的内容ID和内容广告。内容ID利用内容本身的二进制数据所产生的唯一的128位MD5校验和。通过MD5校验和,可以很容易分辨出有两个不同的对等点(Peer)所共享的两个文件是否相同。内容广告以XML格式存储,用来描述内容的元信息,包括内容名称、长度、MIME类型,内容标志符以及内容描述信息。对于简单搜索来说,CMS的算法是向各个Peer发送一个查询字符串,Peer收到这个查询字符串后,将会获取共享内容的文件名和内容描述。如果Peer认为这个内容符合要求,会将这个内容的广告返回给发出搜索请求的Peer。需要注意的是,进行简单搜索只是去访问对方的CMS,搜索本地符合要求的内容,并不需要请求Peer启动CMS服务。

JXTA CMS简单搜索程序最重要的类是ListContentRequest[5]。ListContentRequest类的主要功能是向远程Peer发送查询字符串,然后监听管道以获得返回的结果。结果返回时,JXTA调用ListContentRequest类中的notifyMoreResults方法。结果返回后,调用ListContentRequest类里的getResults方法可获得所有满足条件的内容广告。

3       基于Metadata的搜索

为了让用户迅速地搜索出需要的内容,可以在共享文件中加入Metadata信息。引入Metadata的目的,是让用户可以根据Metadata信息搜索,而不是根据文件名和文件描述的子串来进行搜索。Metadata搜索实际上是在本地的搜索,其搜索返回的结果实际上只是内容的广告,而非内容本身,因此即使有很多条结果,其实际流量还是很小的。其次,由于返回的结果集将缓存到本地,因此下次搜索时将大大提高速度。

目前JXTA的ListContentRequest类还不支持Metadata搜索,因此用户要搜索Metadata,首先要通过采用子串匹配算法的ListContentRequest获得所有初步符合条件的广告,然后等ListContentRequest返回结果集后再用Metadata的搜索来筛选。工作原理如下:①向远程Peer发送查询字符串。②远程Peer将初步符合查询要求的内容的广告送到请求Peer。收到广告之后,Peer1启动Metadata搜索,搜索的是Metadata信息,筛选出与用户指定的查询字符串匹配的内容。搜索原理如图1所示。

4  CMS分布式搜索技术

4.1 CMS分布式搜索的工作原理

分布式搜索是CMS的发展目标之一[6~7]。在分布式搜索模型中,没有专门的服务器,各个Peer在功能上是相似的,依靠P2P网络环境定位其他的Peer。

在这个模型中,Peer将被配置在一个网格中,搜索请求在这些Peer中传播。实际上,CMS已经支持为实现上述目标所需要的大部分功能,这是因为每一条LIST_REQ和GET_REQ消息中包含了为发送响应消息的输入管道的广告,这样就使得Peer可以转发其他Peer的请求,因为包含的管道ID将会被解析为最初发出请求的Peer的管道。如果要实现上述模型的话,还得加入TTL机制或类似机制来设置一个搜索请求能被转发的节点数的最大值。

Peer搜索网络上与之相邻的Peer,发出LIST_REQ请求消息,其他Peer在接收到此消息后,查询本地是否有符合搜索要求的内容,如果有,则沿请求消息的发送路径发送LIST_RES响应消息,返回包含查询到的所有内容的广告。无论本地是否存在符合查询请求的文件内容,其他Peer都会将该查询请求消息通过扩散方式继续在网络中传递,直至TTL字段值减为0时停止继续转发。

一旦定位了响应它查询内容的对等机之后,就与响应的Peer建立连接,下载自己查询的内容,即先发送GET_REQ消息来请求下载内容数据,响应的Peer在发送包括数据在内的GET_RES响应消息。JXTA使用管道技术,使得在建立连接和传输数据时无需考虑协议的问题。分布式搜索的原理见图2。

 

4.2   CMS分布式搜索的优势与不足

    分布式搜索可达到传统CMS搜索无可比拟的深度[6],能很好满足Internet用户的要求。利用扩散机制,网络上的节点不仅具有本地搜索功能,还具备消息的自动传播功能。这样,转发消息的节点通过消息发送与其它节点直接连接,原始请求端间接地与大量结节点建立了联系,搜索范围可以在几秒钟内以几何级数增长,几分钟内就可搜遍几百万台PC上的信息资源。理论上分布式搜索可得到网络上的所有开放的信息资源,网络范围越广阔,可用资源就越多,分布式搜索就越能体现其优势。

此外,利用CMS分布式搜索技术,任何网络用户能够扫描活动节点并搜索需要的信息,然后直接从这个节点上下载信息,网络的多个节点间的信息复制提高了信息的可得性,使之为更多的用户提供服务,网络因此能够很快积累相当丰富的信息。信息资源的分散与冗余使得网络不会产生“单点失效”问题,同时,针对单个服务器的“访问拒绝攻击”不再有效。由此可见,分散式的网络提高了网络的容错和鲁棒性。

然而CMS分布式搜索技术也存在不足,网络中对等点的查找和定位是通过扩散来实现的,随着网络规模的扩大,通过扩散方式定位对等点的方法将造成网络流量急剧增加,如同其它P2P网络模型面临的问题一样,易遭受恶意攻击,如攻击者发送垃圾查询信息,造成网络拥塞。

4       结束语

作者用JAVA语言编写的基于CMS的分布式搜索程序,已在模拟环境下初步测试通过。今后的研究方向是进一步完善CMS的分布式搜索模型和算法,并探讨相关安全机制。由于CMS诞生不久,处于早期探索阶段,在特定的应用环境下,CMS的分布式搜索还会面临很多特殊的问题,这方面的研究和突破值得期待。

你可能感兴趣的:(cms)