基于Spark DataFrame的图数据库GraphFrame：用Spark SQL查询Graph

GraphFrame发布

GraphFrame基于Spark SQL的DataFrame，继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。

什么是GraphFrame

GraphFrame是类似于Spark的GraphX库，支持图处理。但GraphFrame建立在Spark DataFrame之上，具有以下重要的优势：
支持Scala ，Java 和Python API：GraphFrame提供统一的三种编程语言APIs，而GraphX的所有算法支持Python和Java
方便、简单的图查询：GraphFrame允许用户使用Spark SQL和DataFrame的API查询
支持导出和导入图：GraphFrame支持DataFrame数据源，使得可以读取和写入多种格式的图，比如，Parquet、JSON和CSV格式。

社交网络的列子

社交网络中的人是以关系来互相连接的，我们能把这个网络看成一幅图，其中人看成顶点，人与人之间的关系看作是边，如图1所示：

图1
在社交网络上，每个人可能由年龄和名字，每个人之间的关系也有不同类型。如表1和表2

表1

表2

图查询示列

由于GraphFrame的顶点和边存储为DataFrame，可以用DataFrame或SQL来很简单的查询图。
比如，查询有多少年龄大于35的人？

g.vertices.filtr(“age > 35”)

比如，有多少人至少被2个人关注？

g.inDegrees.filter(“inDegree >=2”)

GraphFrames支持所有GraphX的算法，包括PageRank、Shortest Paths、Connected components、Strongly Connected components、Triangle count 和Label Propagation Algorithm（LPA）

GraphFrame和GraphX之间可以无损的来回转换。

val gx: Graph[Row, Row] = g.toGraphX() 
val g2: GraphFrame = GraphFrame.fromGraphX(gx) 

更相信的GraphFrame API文档见这里。

感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至[email protected]。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群（已满），InfoQ读者交流群（#2））。