linux电源管理——C-state,P-state,turbo分析

最近在进行网络性能测试的时候进程会遇到系统C-state，P-state以及turbo的相关设置，虽然知道都是和CPU功耗有关，但具体有什么联系以及对当前进程的影响并不是很清楚，于是查了一下相关资料做一个总结记录。

首先C-state和P-state是完全不同的概念和维度，官方解释是“C-states are idle states and P-states are operational states”。，此外C-States（CPU Power states）指CPU电源状态，而P-States（CPU Performance states）则指CPU性能状态。下面我们逐个分析一下。

C-state

C-state有C0，C1...Cn多种模式，但只有C0是正常工作模式（active），其他方式都是idle状态，只是idle的程度不同，C后的数越高，CPU睡眠得越深，CPU的功耗被降低得越多，同时需要更多的时间回到C0模式。那么是什么决定了idle的程度或者说睡眠的程度呢？答案是stop CPU功能的多少，CPU的功能被阉割的越多就越省电，当然恢复正常状态就需要越长时间。每一个模式都有一个对应的名字，有的模式还有子模式，子模式又具有不同功耗和唤醒时间。在下表所列的模式中，C1到C3通过切断CPU内部的时钟，C4到C6模式通过降低CPU的电压。"Enhanced"模式两种方式都采用。

总结来说，C-state是控制CPU的睡眠状态的。只有C0状态的CPU是running状态的，其他C状态全部是睡眠状态，只是睡眠的程度不同，即C-state控制CPU在空闲时进入的睡眠级别。
那么如何查看当前CPU的C状态呢？这就需要turbostat工具了，如下所示

可以看到CPU的大多数时间都处于C6状态，如果我们使用stress命令给CPU施加负载，则显示会变成如下所示，运行中的CPU时间占比增加，处于C6状态的CPU时间开始减少。

C状态过深的好处一个是可以在CPU空闲时节省功耗，另一个是为工作（running）状态的CPU提供更高的提升频率的空间（见后续的P-state），但是其也有弊端，就是一旦这些深度睡眠的CPU需要进入running状态，其唤醒的延时会增加，这对负载不高但对响应实时性要求高的应用无疑是致命的。那么如何控制CPU睡眠时所进入的最大C-state呢？方法如下：
1. 打开/etc/default/grub文件。

[ec2-user ~]$ sudo vim /etc/default/grub
2. 编辑该GRUB_CMDLINE_LINUX_DEFAULT行并添加 intel_idle.max_cstate=1和processor.max_cstate=1选项以设置C1为空闲内核的最深 C 状态。

GRUB_CMDLINE_LINUX_DEFAULT="console=tty0 console=ttyS0,115200n8 net.ifnames=0 biosdevname=0 nvme_core.io_timeout=4294967295 intel_idle.max_cstate=1 processor.max_cstate=1"

GRUB_TIMEOUT=0

该intel_idle.max_cstate=1选项为基于 Intel 的CPU生效，processor.max_cstate=1配置则为基于 AMD 的CPU C 状态限制。

3. 保存文件并退出编辑器。

4. 运行以下命令来重建引导配置。

[ec2-user ~]$ grub2-mkconfig -o /boot/grub2/grub.cfg

5. 重新启动您的实例以启用新的内核选项。

[ec2-user ~]$ sudo reboot

P-state

从Linux Kernel 3.9(2009年4月)，一个新的加入到内核中，从SandbyBridge处理器开始，后续多代Intel处理器都得到了支持。

前面说了C-state是控制CPU的睡眠状态的，那么P-state就是控制CPU运行（running）状态的，即控制CPU以多高的频率运行，也就是说任何P-state都是处于C0状态的。
  处理器P-state是处理器在不同电压和/或频率级别下运行的能力。通常P0是导致最大性能的最高状态，而P1、P2等将节省电能，但会对CPU性能造成一些损失。P 状态从 P0（允许内核使用 Intel Turbo Boost 技术尽可能提高频率的最高性能设置）开始编号，它们从 P1（请求最大基线频率的 P 状态）到 P15 （可能的最低频率）。
  为什么都是运行状态还有区分呢？因为虽然CPU在C0状态时都会会执行指令，但是即使在C0状态下仍然可以通过调整CPU的工作电压和频率的方式，以此降低整个平台的功耗。
  P-state是一组预定义的CPU频率/电压，如下图中表格给出了处理器不同P-state的例子，该处理器拥有5个P-state，P0-P5，每个P-state level定义了该level下对应的运行电压、运行频率及功耗。处理器可以在这些频率和电压组合下正确运行，但性能水平有所不同。频率越高，性能越好，但是为了达到这个目的，电压也需要更高，这就使得处理器消耗更多的电源(电力功耗与电压平方和工作频率的乘积成正比)。功耗计算公式：P=C×V?×F（可以参考intel手册）

上图右侧的流程图表示了处理器从P0状态到P4的变化过程。

那么为什么要用P-state表示，而不是直接cpu frequency呢？

在十几年前，单核，也没有超线程的世界，事情相对简单。你基本上可以将P状态映射到某个你会得到的“频率”上，就像销售告诉我们的，更高的频率意味着更高的性能。

但今天，事情变得复杂，intel 处理器一代又一代，发生着巨大的变化。与10年前不同……CPU有了C-state，无论您请求的是哪种P状态，当处理器处于空闲状态(C状态)时，其频率通常为0，CPU frequency是个变数...。

所以，事实上P状态是一个数字，是操作系统告诉硬件它希望在某个cpu上看到多少性能，P状态请求是具有前瞻性的。并不是设置了P-state就能看到对应性能，这跟当时的运行环境密切相关。另外要记住，CPU frequency是处理运行时的状态，如果CPU在睡觉（非C0状态），那么它没有频率。

另外一方面，由于硬件原因，在当前的Intel处理器上，一个package中的所有核心共享相同的电压。而且，由于在一定电压下以低于可能的频率运行是低效的，所以所有核心在任何时候都将共享相同的时钟频率。

举一个简单的例子：

一个系统，两个CPU核心(Core A和Core B，它们最初都很忙)。Core A希望有一个在1Ghz频率的时钟，而Core B希望有一个在2Ghz频率的时钟。1Ghz和2Ghz的最大值是…2Ghz，因此Core A和Core B都将运行在2Ghz下，尽管Core A只要求1Ghz。

一段时间后，在X时刻，Core B处于空闲状态。因为一个空闲核的频率是0，而0和1Ghz的最大值是1Ghz……Core A现在运行的时钟频率为1Ghz。

这里的一个关键：Core A得到了一个可变的CPU运行行为，和它所请求的CPU p-state级别无关，而是在于核心B在做什么。换句话说，CPU上P-state的设定，似乎是一个期望值。实时的P-state状态和运行负载、硬件电压、兄弟核、温度等等都有一定联系。对于用户来说，我们熟知的CPU主频，同样也高度依赖系统各个内部部件。

可以通过修改grub启动文件开启P-state。

修改/etc/default/grub配置行GRUB_CMDLINE_LINUX添加intel_idle.max_cstate=1 intel_pstate=enable processor.max_cstate=1

grub2-mkconfig -o /boot/grub2/grub.cfg

但是我们发现我们无法指定CPU到底处于那个P-state或者最大的P-state，这个完全是OS来控制的。

CPU frequency driver

硬件提供了动态变更CPU性能，对应到linux操作系统，是由CPU frequency driver来完成处理器performance动态变化的。linux中有一套ACPI cpufreq driver，这种适用于大数平台及架构。

而在linux-3.9内核中，intel为P-state引入了一个新的控制器驱动程序，原因很简单，因为之前的10多年的算法已经不再适用了，变化太大了。同时intel在自己硬件上做了特殊节能优化，Intel cpu通过MSR寄存器公开了很多power manager相关的状态信息，方便驱动程序访问。p-state驱动程序特定生成于intel CPU，同时实现了p-state选择策略和调优算法，据说比通用的算法做得更好(30%以上)。

当然intel平台也同样支持使用通用的ACPI cpufreq driver。

上面所描述很多东西在intel一代一代之间是有很大不同的……也许，在接下来的几年里，处理器将发生更大的变化。但这对于一些对PM感兴趣的人，理解一些基本概念已经足够……

Turbo

P-state可以和turbo（睿频）相结合，如果/sys/devices/system/cpu/intel_pstate/no_turbo被设置为0，说明使能了turbo P-state。

P-state支持的所有频率范围可以分为两个部分，有一个分界的阈值turbo threshold（一般为P1），超过这个阈值的P-state称之为turbo P-states。

有些人称之为“超频”，但它并不是超频，它完全运行在硬件规格之内。Turbo之所以存在，是因为在多核系统中，单核的运行速度可能比购买处理器时盒子标签上的频率更快。这与你的电源功耗有关，当你买了一个35瓦的TDP cpu, cpu不应该使用超过35瓦。因此，如果你有4个核心，这意味着每个核心本身可以使用不到9瓦来满足。

那如果处理器中单一核心被限制在9瓦，而不是完整的35W，那么即使其他核心是空闲的，active CPU也只能工作在9瓦范围内，许多潜在的性能没有被激发……。

那么我想，你应该知道turbo技术是什么了吧，也就是单一核心可以超过9W运行，而不是局限在一个固定的平均值。所以当处理器中其他核心idle的情况下，某一个active cpu才可以发挥出更大的潜能（当然和当前的负载有关），那么这个时候，意味着CPU超频了……。

如下图所示，P0：最佳性能状态，代表CPU处于turbo状态（turbo状态只能是在P0），最大频率运行。（由硬件控制）P1-Pn：硬件提供了可用的P-state范围，可由OS来管理。

在我们的x86环境下，可以通过turbostat工具来看到cpu的turbostat boost能力：

关注最后4行，当只有1个核是active的时候，那么这个核可以达到2.6Ghz；而当有3个active核时，这3个核可以达到2.5Ghz，那如果4个核或4个核以上active时，那么只能达到2.4Ghz。

下面是一个测试，其中两个内核主动执行工作，通过stress命令给两个CPU加负载，达到其最大处理器 Turbo Boost 频率。

在此示例中，vCPU 21 和 28 以其最大 Turbo Boost 频率运行，因为其他内核已进入C6睡眠状态以节省功耗并为工作内核提供功率和热空间。vCPU 3 和 10（每个与 vCPU 21 和 28 共享一个处理器内核）处于C1等待指令状态。

在以下示例中，所有 18 个内核都在积极执行工作，因此没有最大 Turbo Boost 的空间，但它们都以 3.2 GHz 的“全核 Turbo Boost”速度运行。

cpufreq子系统

cpufreq 为在Linux 内核中更好的支持不同 CPU 的变频技术提供了一个统一的设计框架，其软件结构如下

cpufreq 在设计上主要分为以下三个模块：

1) cpufreq 模块(cpufreq module)对如何在底层控制各种不同 CPU 所支持的变频技术以及如何在上层根据系统负载动态选择合适的运行频率进行了封装和抽象，并在二者之间定义了清晰的接口，从而在设计上完成了前文所提到的对 mechanism 与 policy 的分离。

2) 在 cpufreq 模块的底层，各个 CPU 生产厂商只需根据其变频技术的硬件实现和使用方法提供与其 CPU 相关的变频驱动程序(CPU-specific drivers)，例如 Intel 需要提供支持 Enhanced SpeedStep 技术的 CPU 驱动程序，而 AMD 则需要提供支持 PowerNow! 技术的 CPU 驱动程序。

3) 在 cpufreq 模块的上层，governor 作为选择合适的目标运行频率的决策者，根据一定的标准在适当的时刻选择出 CPU 适合的运行频率，并通过 cpufreq 模块定义的接口操作底层与 CPU 相关的变频驱动程序，将 CPU 设置运行在选定的运行频率上。目前最新的 Linux 内核中提供了 performance 、powersave 、userspace、conservative 和 ondemand 五种 governors 供用户选择使用，它们在选择 CPU 合适的运行频率时使用的是各自不同的标准并分别适用于不同的应用场景。用户在同一时间只能选择其中一个 governor 使用，但是可以在系统运行过程中根据应用需求的变化而切换使用另一个 governor 。

这种设计带来的好处是使得 governor 和 CPU 相关的变频驱动程序的开发可以相互独立进行，并在最大限度上实现代码重用，内核开发人员在编写和试验新的 governor 时不会再陷入到某款特定 CPU 的变频技术的硬件实现细节中去，而 CPU 生产厂商在向 Linux 内核中添加支持其特定的 CPU 变频技术的代码时只需提供一个相对来说简单了很多的驱动程序，而不必考虑在各种不同的应用场景中如何选择合适的运行频率这些复杂的问题。

内核中的 cpufreq 子系统通过 sysfs 文件系统向上层应用提供了用户接口，对于系统中的每一个 CPU 而言，其 cpufreq 的 sysfs 用户接口位于 /sys/devices/system/cpu/cpuX/cpufreq/ 目录下，其中 X 代表 processor id ，与 /proc/cpuinfo 中的信息相对应。以 cpu0 为例，用户一般会在该目录下观察到以下文件：

linux频率管理相关工具

1. cpupower monitor -l可以列出所有可以监控的模块，如：

2. cpupower frequency-info可以检查处理器主频：

#cpupower frequency-info

analyzing CPU 0:

driver: intel_pstate

CPUs which run at the same hardware frequency: 0

CPUs which need to have their frequency coordinated by software: 0

maximum transition latency: 0.97 ms.

hardware limits: 1000 MHz - 3.10 GHz

available cpufreq governors: performance, powersave

current policy: frequency should be within 1000 MHz and 3.10 GHz.

The governor "powersave" may decide which speed to use

within this range.

current CPU frequency is 2.70 GHz (asserted by call to hardware).

boost state support:

Supported: yes

Active: yes

其中hardware limits表示CPU支持的频率范围；

current policy表示当前配置下CPU的支持的频率波动范围；

注意：使用cpupower frequency-info显示的当前cpu 0主频是一个约数，不精确且有延迟。最好采用 cpupower monitor -m Mperf 检查能够获取精确的CPU主频，且即使没有使用intel_pstate驱动也能够准确获取频率。

3. 检查处理器主频cpupower monitor -m Mperf

$sudo cpupower monitor -m Mperf

|Mperf

PKG |CORE|CPU | C0 | Cx | Freq

0| 0| 0| 7.85| 92.15| 2820

0| 0| 32| 0.38| 99.62| 2825

0| 1| 1| 42.75| 57.25| 2891

0| 1| 33| 6.98| 93.02| 2890

可以看到Cx显示的就是处理器idle的状态

4. cpupower idle-info命令列出支持的C-State

cpupower idle-info

CPUidle driver: intel_idle

CPUidle governor: menu

Analyzing CPU 0:

Number of idle states: 2

Available idle states: POLL C1-SKX

POLL:

Flags/Description: CPUIDLE CORE POLL IDLE

Latency: 0

Usage: 2667

Duration: 296902700

C1-SKX:

Flags/Description: MWAIT 0x00

Latency: 2

Usage: 776606

Duration: 14056122480

以上信息表示当前系统支持POLL，C1-SKX两种idle C-state，并且都没有disable。注意：系统必须加载了intel_idle驱动之后才能列出支持的C-state。

5. intel_pstate/no_turbo

可以在intel_pstate驱动中关闭turob（设置intel_pstate/no_turbo值为1）

echo 1|sudo tee /sys/devices/system/cpu/intel_pstate/no_turbo

要检查是否启用和停止Turbo，可以通过：

cat /sys/devices/system/cpu/intel_pstate/no_turbo 来检查

Turbo Boost也可以在运行时通过禁止intel_pstate驱动来关闭：

echo off |sudo tee /sys/devices/system/cpu/intel_pstate/status

注意：这里禁用intel_pstate之后，处理器主频会跌到物理主频的最小值，此时需要通过MSR寄存器199H来静态设置目标性能状态值（Target performance State Value）

也可以激活intel_pstate驱动：

echo active |sudo tee /sys/devices/system/cpu/intel_pstate/status

注意：这个intel_pstate/status入口必须在激活Turbo Boost之后才会存在

6. cpupower frequency-info读取CPU主频

注意，默认没有指定cpu参数则读取cpu 0主频。要读取指定cpu的主频，需要使用-c参数，例如，读取cpu 31的主频

cpupower -c 31 frequency-info

不过，cpupower frequency-info 是通过intel_pstate驱动来获取信息的，所以如果使用 echo off |sudo tee /sys/devices/system/cpu/intel_pstate/status 禁用了intel_pstate驱动，则该指令失效。

可以通过cpupower monitor指令来获取CPU主频，该指令是直接读取MSR 198H 来直接获取CPU主频信息，所以即使禁用了intel_pstate驱动也可以获得准确的数据。

cpupower monitor

7. 使用turbostat读取主频

turbostat默认10秒刷新一次，可以使用-i 1可以1秒刷新一次。

1) Avg_MHz是平均主频，基于APERF

2) Busy%表示处理器繁忙百分比

3) Bzy_MHz是实际的busy frequency，基于MPERF

4) TSC_MHz是固定主频，TSC基于

5) APERF (average) and MPERF (maximum) 是MSR寄存器可以提供当前CPU主频信息。

8. 通过cpupower frequency-set设置cpu的频率

可以通过cpupower frequency-set --min/--max $freq 来设置当前系统的cpu频率范围。

9. 查看设置系统的governor

同样通过cpupower frequency-info可以查看当前系统支持的governor，已经在使用的governor。