Spark的master和worker之间的通信方式Akka

akka是spark独有的node之间的RPC通信。

RPC主要是用在大型企业里面,因为大型企业里面系统繁多,业务线复杂,而且效率优势非常重要的一块,这个时候RPC的优势就比较明显了。

Spark在很多模块之间的通信选择是Scala原生支持的akka,一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。

在Spark中的Client,Master和Worker实际上都是一个actor


相关资料:

Akka框架简介:https://www.jianshu.com/p/7d941a3b0ccb

Akka官方:https://akka.io/

你可能感兴趣的:(Spark,大数据)