sparksql:使用sql对历史数据做交互式查询，用来操作结构化数据sparkStreaming:近实时计算对实时数据进行流式计算的组件sparkgraph

1.SparkGraph简介GraphX是Spark一个组件，专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD：定向多图，其属性附加到每个顶点和边。

1.SparkGraph简介GraphX是Spark一个组件，专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD：定向多图，其属性附加到每个顶点和边。

SparkMLlib//机器学习库Sparkgraph//图计算Spark集群运行--------------------1.local//本地模式2.standalone//独立模式3.yarn//ya

一、aggregateMessage函数aggregateMessage函数有两个大操作，一个是sendMsg，一个是mergeMsg。aggregateMessages函数其对象是三元组。sendMsg是将三元组的属性信息进行转发，mergeMsg是将sendMsg转发的内容进行聚合。sendMsg函数以EdgeContex作为输入参数，没返回值，提供两个消息的函数sendToSrc：将Msg类

本文是为了加强理解spark的pergel算法一：SparkGraphXPregel：**Pregel是google提出的用于大规模分布式图计算框架**图遍历(bfs)单源最短路径（sssp）pageRank计算Pregel的计算有一系列迭代组成Pregel迭代过程每个顶点从上一个superstep接收入站消息计算顶点新的属性在下一个superstep中向相邻的顶点发送消息当没有剩余消息时，迭代结

SparkGraph

SparkGraph

spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其实是构建在sparkcore之上的一个应用程序，如果要构建一个强大的spark应用程序，sparkstreaming

目前，整个SQL、SparkML、SparkGraph以及StructuredStreaming都是运行在CatalystOptimization

本文将一篇很好的SparkGraphX入门文章中代码块整合为一个完整的可执行类，并加上必要注释以及执行结果，以方便有兴趣的朋友快速从API角度了解SparkGraph