linux性能优化——关于NUMA的配置

检查NUMA配置

numa是为了应对多处理器系统共享同一个总线导致的总线负载过大问题。本质上将M个处理器分为N组，每组处理器之间用IMC BUS总线进行连接，每一组叫做一个Node,其结构类似于一个小的UMA（Uniform Memory Access），每个Node中有一个集成的内存控制器IMC，Intergrated Memory Controller。组内CPU用IMCBUS总线连接，Node之间用QPI总线连接，QPI延迟明显高于IMCBUS。

如果numa的available nodes数量大于1，则表明NUMA已开启。

NUMA的基本信息可以通过检查cpu状态，即使用lscpu指令来看到。执行如下指令：

lscpu | grep -i numa

得到如下格式结果:

NUMA node(s):        2
NUMA node0 CPU(s):   0-27,56-83
NUMA node1 CPU(s):   28-55,84-111

结果显示NUMA有2个node, 如果大于1个node,说明NUMA开启。此外对新手要注意：pcie上并没有NUMA信息，因为pcie上的信息都是硬件设备，NUMA并不是硬件，而只是一种内存技术，该技术和CPU的支持分不开，所以，用lscpu指令可以看到NUMA信息。

如果要看NUMA详细的信息，可以用numactl和numastat指令。

numactl --hareward
#numactl -H

得到如下信息：

available: 2 nodes (0-1) 
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83
node 0 size: 128445 MB
node 0 free: 96356 MB
node 1 cpus: 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111
node 1 size: 128982 MB
node 1 free: 97986 MB
node distances:
node   0   1
  0:  10  20
  1:  20  10

此外还要检查pcie上的设备是否和对应的NUMA节点对应。

例如，某一个pcie地址段是和NUMA的Node0绑定的，则该地址段上的设备应绑定Node0。如果本应是绑定Node0的设备绑定了Node1, 则必然导致该设备运行的性能下降。

注：通过实验得出，00-7f的bus上，所有设备均应绑定Node0,80-ff的bus上，所有设备均应绑定Node1。
7f对应十进制是127，ff对应十进制是255，正好是256位长度，说名pcie位宽是256位。前半部分属于Node0,后半部分属于Node1。

以网卡为例，通过lspci找到了某一张网卡的pcie地址号0000:4b:00.01,bus为4b,小于80，故应绑定Node0。通过以下指令查询该网卡是否绑定Node0:

cat /sys/bus/pci/devices/0000\:4b\:00.1/numa_node

如果返回的值为0，说明该网卡绑定NUMA正确。

另外，如果仅仅是查看某一个网卡绑定的numa_node,可以通过以下指令而不需要通过pcie查找：

cat  /sys/class/net/enp129s0f0/device/numa_node 

该指令的值会返回所属的Node号，如果返回0，便代表该网卡绑定在Node0上。

这两个指令共同点都是在sys文件系统中查找。

如何配置NUMA

NUMA的配置对于性能至关重要。