FusionSphere 物理CPU与VCPU的关系梳理总结

原贴转自http://forum.huawei.com/enterprise/zh/forum.php?mod=viewthread&tid=322397&extra=&page=1

背景说明：

之前在项目和培训中多次被问题FusionSphere物理CPU和vCPU的对应或分配关系，一个物理CPU能虚拟出多少个vCPU，一个vCPU的主频是多少等问题。设置了CPU预留、份额与限制之后又是什么情况。

 

看过之前的一些讨论，也没有定论，本着实践是检验整理的唯一标准，本文通过实验，并对照相关文档来梳理这些问题，希望能让有更清楚的理解。

 

1. 系统可用的VCPU总数计算

1台R2288H V3，2个CPU， 10 核，超线程为2。总共2x10x2= 40个thread，每个Thread 2.3GHz。 

Haswell EP CPU

02311CDJ

BC1M12CPU

X86 series,2300MHz,1.8V,64bit,105000mW,Haswell EP Xeon E5-2650 v3,10Core,with heatsink

2

2

服务器BMC管理界面上查看 CPU信息  

Intel官网看到E5-2650的信息

http://ark.intel.com/products/81705/Intel-Xeon-Processor-E5-2650-v3-25M-Cache-2_30-GHz

在主机上部署FusionCompute R5C00， 登录CNA主机运行xentop命令查看CPU信息

CPUs:40 @ 2294 MHz，主频总容量为40 x 2.294 GHz = 91.76 GHz。

Domain 0默认配置2个VCPU，占用2 x 2.294 = 4.588 GHz

用户可用的主频总容量 = 91.76 - 4.588 = 87.172 GHz

图4：FC portal上查看CPU信息，总容量87.17GHz正好等于系统总容量减去Domain 0占用的容量。

结论1：

系统可用的vCPU总数(逻辑处理器) = Socket数（CPU个数）x Core数（内核）x Thread数（超线程）

1个VCPU = 1个超线程Thread如下图所示：

CPU QoS

如图所示，CPU预留容量为4.59GHz，可用容量为82.58GHz，说明除了VRM01的2个VCPU预留容量4588MHz之外的VCPU主频均是可用的，尽管该环境已创建了7台4 VCPU的VM，还可以创建更多VM，这些VM的VCPU总数可以远远超过当前系统显示可用的38个VCPU。

 

在不对VRM01的VCPU进行限制的情况下，将VCPU份额自定义为128000，显示可使用的CPU数为38，说明如果需要的话VRM01可以占用该主机上的除了Domain 0之外的所有VCPU（Domain 0占用了2个VCPU）。

结论2：由于采用分时复用的方式，在不做VCPU预留的条件下，系统可分配给VM的VCPU总数远远大于实际可提供的VCPU数目（具体能创建多少额外的VCPU依赖于物理CPU的性能和VCPU的使用情率），在出现资源争用的时根据CPU QoS中的预留和份额来分配资源。

 

1. 虚拟机VCPU的分配与调度

对虚拟机来说，不直接感知物理CPU，虚拟机的计算单元通过vCPU对象来呈现。虚拟机只看到VMM呈现给它的vCPU。在VMM中，每个vCPU对应一个VMCS（Virtual-Machine Control Structure）结构，当VCPU被从物理CPU上切换下来的时候，其运行上下文会被保存在其对应的VMCS结构中；当VCPU被切换到PCPU上运行时，其运行上下文会从对应的VMCS结构中导入到物理CPU上。通过这种方式，实现各vCPU之间的独立运行。

从虚拟机系统的结构与功能划分可以看出，客户操作系统与虚拟机监视器共同构成了虚拟机系统的两级调度框架，如图所示是一个多核环境下虚拟机系统的两级调度框架。客户操作系统负责第2 级调度,即线程或进程在vCPU 上的调度（将核心线程映射到相应的VCPU上）。虚拟机监视器负责第1 级调度, 即vCPU在物理处理单元上的调度。两级调度的调度策略和机制不存在依赖关系。vCPU调度器负责物理处理器资源在各个虚拟机之间的分配与调度,本质上即把各个虚拟机中的vCPU按照一定的策略和机制调度在物理处理单元上可以采用任意的策略来分配物理资源, 满足虚拟机的不同需求。vCPU可以调度在一个或多个物理处理单元执行（分时复用或空间复用物理处理单元）, 也可以与物理处理单元建立一对一固定的映射关系（限制访问指定的物理处理单元）。

1. CPU QoS说明

Hypervisor层根据分时复用的原理实现对VCPU的调度，CPU QoS的原理是定期给各VCPU分配运行时间片，并对各VCPU运行的时间进行记账，对于消耗完时间片的虚拟CPU将被限制运行，直到获得时间片。以此控制虚拟机获得物理计算资源的比例。以上分配时间片和记账的时间周期很短，对虚拟机用户来说会感觉一直在运行。

CPU预留定义了分配给该VM的最少CPU资源。

CPU限制定义了分配虚拟机占用CPU资源的上限。

CPU份额定义多个虚拟机在竞争CPU资源的时候按比例分配。

CPU份额只在各虚拟机竞争计算资源时发挥作用，如果没有竞争，有需求的虚拟机可以独占主机的物理CPU资源。

如果虚拟机根据份额值计算出来的计算能力小于虚拟机预留值，调度算法会优先按照虚拟机预留值分配给虚拟机，对于预留值超出按份额分配的计算资源的部分，调度算法会从主机上其他虚拟机的CPU上按各自的份额比例扣除。

如果虚拟机根据份额值计算出来的计算能力大于虚拟机预留值，那么虚拟机的计算能力会以份额值计算为准。

以一台主频为2800MHz的单核物理机为例，如果满负载运行3台单VCPU的虚拟机A、B、C，分配情况如下。

主机CPU	VM	份额	预留	按份额分配	最终分配
2800MHz	A	1000	700 MHz	400 MHz	400 + 100 +　200 = 700 MHz
	B	2000	0	800 MHz	800 – 100 = 700 MHz
	C	4000	0	1600 MHz	1600 – 200 = 1400 MHz