Spark executor中task的数量与最大并发数

每个task处理一个partition,一个文件的大小/128M就是task的数量

Task的最大并发数

当task被提交到executor之后,会根据executor可用的cpu核数,决定一个executor中最多同时运行多少个task。

默认情况下一个task对应cpu的一个核。如果一个executor可用cpu核数为8,那么一个executor中最多同是并发执行8个task;

你可能感兴趣的:(【大数据】Spark)