在Spark集群中，集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系？？

作者：Mr Rex
链接：https://www.zhihu.com/question/33270495/answer/88953826
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

图来自官方 Cluster Mode Overview
Spark集群的节点个数为集群的机器的数量。一个机器上有几个worker，一个woker可以申请多少core是可配置的。一个常用的配置是：
一台机器一个worker，一个woker可拥有的最大core数是机器逻辑cpu的数量。
在这种情况下，一个core就可以理解为一台机器的一个逻辑核。

而RDD的分区个数决定了这个RDD被分为多少片（partition）来执行，一个片给一个Core。

假设有一个10台机器的集群，每台机器有8个逻辑核，并按照如上的配置，那么这个spark集群的可用资源是 80个core（这里只考虑cpu，实际上还有内存）。如果一个任务申请到了集群的所有资源（所有80个core）。现在有一个被分为100个partition的RDD被map执行，那么会同时启动80个Task也就是占用了所有80个core计算（实际是启动了80个线程），剩余20个partition等待某些task完成后继续执行。

当然理论上可以给一台机器配置更多的worker和core，即使实际上机器只有80个逻辑核，但是你总共配置100个core，就可以同时跑起来100个partition了（ no zuo no die ）

名词和某些解释不严格的严谨，题主能明白就成。