基于Hadoop的社会网络分析工具包X-Rime开源

社会网络（social network）是由图表示的异构多关系数据集，图中节点对应对象，边对应表示对象间联系或相互作用的链接。过去的几十年间，社会网络受到越来越多的关注。特别是移动网络和互联网的发展，产生了大量的，容易被计算机处理的社会网络数据。从这些海量数据中获取知识，从而理解商业行为，识别业务模式，捕捉盗用行为，更好利用资源，提高服务质量，将成为运营商的核心竞争力之一。

相对于传统的属性分析，通过考虑链接，社会网络分析（social network analysis）可以获得如下一些新知识：

l?????????? 基于链接的对象分类：根据对象的属性和链接和被链接的对象的属性，对对象进行区分；

l?????????? 对象类型预测：根据对象的属性和链接，以及连接到它的对象的属性预测对象的类型；

l?????????? 链接类型预测：根据所涉及的对象的性质，预测链接的类型或目的；

l?????????? 链接存在性预测：与链接类型预测不同，链接存在性预测用于预测对象间是否存在链接；

l?????????? 对象核对：根据对象的属性和链接，预测两个对象是否事实上相同；

l?????????? 组检测：根据对象属性和链接结构，预测对象是否处于一个组或簇；

通过这些知识，我们可以实现下面的应用：

l?????????? 网页排名（PageRank算法）
如果把一个个网页看作网络图中节点，而网页间的超链接看成是边，那么我们就会得到一个由网页和超链接组成的社会网络。从网页A导向网页B的边被看作是对页面A对页面B的支持投票，如果一个页面有许多优质的网页链接过来的网页，必定还是优质网页。通过这样一个和网络结构相关的指标，能够对网页的重要性给出一个客观的测定。

l?????????? 垃圾短信发送者检测
如果将移动通话用户看成网络图中的节点，用户之间发送短信关系看成网络图中的边，这样构成的网络，是一个典型的社会网络。一个正常的用户，他的短信被叫用户之间，往往也会相互发送短消息，构成了一些小团体。而垃圾短信发送者往往没有目的地发送大量的短信，短信接收者之间一般没有联系。在这样的社会网络中，通过分析用户的个体中心网，能够有效地检测垃圾短信发送者。

l?????????? 挖掘顾客的网络价值
顾客的网络价值是向其他顾客推销导致的销售预期的增加。顾客在它所处的网络中的位置，决定了顾客的网络价值。如果一个顾客，他在网络中有高的连通性，同时对产品有正面的评价，而且对其他人有较强的影响力，再考虑到口传的递归性（受影响的人会去影响其他人，进而影响整个网络），那么他就会有更高的顾客的网络价值。

?

目前，对移动网络和互联网这样大规模的社会网络进行分析，是一个比较困难的问题。一方面，传统的关系数据库和数据仓库并不对网络/图数据的计算进行优化，使得处理的效率不高；另一方面，传统的社会网络分析软件往往是单机应用，很难扩展以支持电信级和互联网级的分析。

?

X-Rime（http://xrime.sourceforge.net/）是IBM中国研究院和北京邮电大学在IBM研究部门的开放协作研究计划支持下的成果，它提供了一套基于Hadoop云计算环境的社会网络复杂网络分析工具包，它在Map/Reduce的框架上，实现了对电信级和互联网级社会网络/复杂网络的一些分析。目前支持下面算法：

l?????????? 图顶点度数统计

l?????????? 图的弱联通分量/强联通分量/重连通分量计算

l?????????? 个体中心度???

l?????????? K-core

l?????????? 极大团

l?????????? 宽度优先遍历/单源最短路径

l?????????? PageRank和带优先级的PageRank算法

l?????????? HITS (Hyperlink-Induced Topic Search)算法

l?????????? 图的最小生成树