深度了解flink rpc机制(三)-组件以及交互

Flink RPC 整体架构

Flink集群间组件的通信底层是使用的actor system通信模型和动态代理来实现的,先简单看下Flink RPC相关的类UML图

深度了解flink rpc机制(三)-组件以及交互_第1张图片

通信组件

RpcGateway

Flink RPC远程调用网关,是Flink RPC定义远程调用的接口协议,对外提供可调用的接口,所有实现RPC的组件,都要实现这个接口

深度了解flink rpc机制(三)-组件以及交互_第2张图片

从RpcGateway继承关系看,Flink的核心组件各自都有相关RpcGateway接口对外接口的实现,组件之间的通信都是通过RpcGateway进行交互的。

FencedRpcGateWay是用于解决集群脑裂问题的,JobMaster、ResourceManager、Dispatcher在高可用的模式下,涉及Leader的选举,可能导致集群脑裂,所以这几个组件都要实现FencedRpcGateWay这个接口。

EndPoint

Endpoint实现了RpcGateway接口,在RpcGateway的基础上提供了RPC服务组件的生命周期管理,Flink中涉及到RPC通信的组件,都要继承Endpoint。

在Flink的设计中,同一个RpcEndpoint中的所有调用只有一个线程来处理,叫做Endpoint主线程,与Actor模型一样,所有对状态数据的修改在同一个线程中执行,所以不存在并发问题。

RpcService

RpcService是Endpoint的成员变量,作用如下:

    你可能感兴趣的:(深度了解flink,flink,rpc,代理模式)