弹性资源组件集成系列(一)datax集成弹性资源设计解释

简介

        弹性组件集成有弹性需求的组件,为组件增加高弹性容量,规划集成datax,elastic-job,xxl-job,sentinel dashboard,dolphinscheduer,eventbridge

        datax基于社区版,此前已对datax进行重构,增加其metrics exporter,分布式特性,分布式模型是基于启动的worker分配,固定的worker数量,如果分片少,浪费资源;分片多,资源不足,只有排队等待

       弹性资源组件基于k8s的资源管理能力,动态申请资源,资源管理使用flink的声明式管理,集成组件声明需要资源数量,弹性资源组件的资源管理器先分片可用资源,若不足,计算并申请新的worker,worker启动注册资源,可用资源增加,资源管理器继续分配

你可能感兴趣的:(弹性资源组件k8s,分布式dataX,弹性资源,分布式datax,k8s)