Spark On Yarn中Yarn分配资源的时候vcore怎么理解

Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量?

这是因为集群中可能不是所有的机器都是同一种规格的,有的cpu处理能力强,有的弱。假设性能强的一个physical core计算能力相当于弱的3倍,这个时候,可以指定处理能力强的那个cpu一个physical core为3个vcore,而弱的一个physical core为1个vcore,分配资源的如果需要提供6个vcore,那计算能力强的那个只需要提供2个physical core即可,达到了负载均衡的效果,更加合理的利用了资源。

你可能感兴趣的:(Yarn)