一文通俗理解Spark架构、Spark部署方式、配属配置优先级、Spark处理所提交的application的流程、Spark共享变量、Spark监听,以及master、driver、worke...
Spark是一种基于内存计算的计算引擎(通俗地说就是计算速度快),由于其可以将计算的中间结果存放在内存中,因此非常适合于迭代计算和交互式查询。一、Spark的四大核心组件和集群资源调度器Spark四大核心组件1.1Spark的四大核心组件Sparkcore定义了Spark基本功能和模块,包含SparkSession、RDD、DAG、Lingage、Cache、broadcast等,并封装了底层通讯