基于Spark DataFrame的图数据库GraphFrame:用Spark SQL查询Graph

GraphFrame发布

GraphFrame基于Spark SQL的DataFrame,继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。

什么是GraphFrame

GraphFrame是类似于Spark的GraphX库,支持图处理。但GraphFrame建立在Spark DataFrame之上,具有以下重要的优势:
支持Scala ,Java 和Python API:GraphFrame提供统一的三种编程语言APIs,而GraphX的所有算法支持Python和Java
方便、简单的图查询:GraphFrame允许用户使用Spark SQL和DataFrame的API查询
支持导出和导入图:GraphFrame支持DataFrame数据源,使得可以读取和写入多种格式的图,比如,Parquet、JSON和CSV格式。

社交网络的列子

社交网络中的人是以关系来互相连接的,我们能把这个网络看成一幅图,其中人看成顶点,人与人之间的关系看作是边,如图1所示:
此处输入图片的描述
图1
在社交网络上,每个人可能由年龄和名字,每个人之间的关系也有不同类型。如表1和表2
表1
此处输入图片的描述

表2
此处输入图片的描述

图查询示列

由于GraphFrame的顶点和边存储为DataFrame,可以用DataFrame或SQL来很简单的查询图。
比如,查询有多少年龄大于35的人?
g.vertices.filtr(“age > 35”)
比如,有多少人至少被2个人关注?
g.inDegrees.filter(“inDegree >=2”)

GraphFrames支持所有GraphX的算法,包括PageRank、Shortest Paths、Connected components、Strongly Connected components、Triangle count 和Label Propagation Algorithm(LPA)

GraphFrame和GraphX之间可以无损的来回转换。
val gx: Graph[Row, Row] = g.toGraphX()
val g2: GraphFrame = GraphFrame.fromGraphX(gx)
更相信的GraphFrame API文档见这里

参考:


侠天,专注于大数据、机器学习和数学相关的内容,并有个人公众号:bigdata_ny分享相关技术文章。

若发现以上文章有任何不妥,请联系我。

image
~