多核高性能 cpu 配置

本文最新更新已经迁移到了独立blog上:http://www.hiyoufu.com/?p=187


我们知道现在服务器都是多核, 最新的intel Sandybridge是NUMA IO结构, 以网卡为例, 也就是说PCI插槽并不像westmere一样, 通过一个bridge连接到cpu上, 目前SNB是直接pci链接到cpu上。


有时候我们测试performance的时候会看到性能忽高忽低的现象, 原因比较难找, 一头雾水, 下面我根据自己的实际经验列出下面几个cpu对性能的影响:


多核并行编程cpu的亲和性以及frequence对性能的影响可能比较大, 如果设置不好cpu的affinity, 通过跨QPI 来访问另一个CPU上的内存, 那么性能差距经过测试, 会有10倍的差距(两个10G网口收包, 平均包长256, 最坏的情况2.5Gbps, 最好的情况19.8Gbps, 64byte小包在L4 上能达到16.5Gbps)。

首先我们保证在硬件cpu上不受影响,在这里暂时不考虑cache一致性的问题 :


1.保证cpu运行最高的频率, 目前默认基本都是ondemand, 也就是根据cpu的空闲程度来自动调节频率, C state, 为了保证CPU 运行在P状态, 也就是performance状态(当然耗电会大一些) 

2.cpu的set affinity或者taskset仅仅对用户层的程序有用, 陷入内核后就无法保证当前线程运行在哪个cpu上了, 我们要保证在内核上分配内存时通过vmalloc_node来指定正确的socket。

3.linux 内核目前提供了offline cpu的功能, 当然cpu core 0目前是无法进行offline的(我认识的一个内核大师正在做cpu 0 offline的功能, 估计很快内核会支持), 所以我们为了排除cpu NUMA的影响, 可以将socket 1上的所有的core进行logical offline, 这样内核就看不到socket 1上的所有的cpu core了, 内存分配会自动到node 0上。



你可能感兴趣的:(centos,性能优化,处理器)