linux进程、线程与cpu的亲和性（affinity）

最近的工作中对性能的要求比较高，下面简单做一下总结：

一、什么是cpu亲和性（affinity）

　　CPU的亲和性， 就是进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他处理器，也称为CPU关联性；再简单的点的描述就将制定的进程或线程绑定到相应的cpu上；在多核运行的机器上，每个CPU本身自己会有缓存，缓存着进程使用的信息，而进程可能会被OS调度到其他CPU上，如此，CPU cache命中率就低了，当绑定CPU后，程序就会一直在指定的cpu跑，不会由操作系统调度到其他CPU上，性能有一定的提高。

　　软亲和性（affinity）:  就是进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他处理器，Linux 内核进程调度器天生就具有被称为 软 CPU 亲和性（affinity） 的特性，这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的，因为进程迁移的频率小就意味着产生的负载小。

　　硬亲和性（affinity）：简单来说就是利用linux内核提供给用户的API，强行将进程或者线程绑定到某一个指定的cpu核运行。

　　解释：在linux内核中，所有的进程都有一个相关的数据结构，称为 task_struct。这个结构非常重要，原因有很多；其中与 亲和性（affinity）相关度最高的是 cpus_allowed 位掩码。这个位掩码由 n 位组成，与系统中的 n 个逻辑处理器一一对应。 具有 4 个物理 CPU 的系统可以有 4 位。如果这些 CPU 都启用了超线程，那么这个系统就有一个 8 位的位掩码。 如果为给定的进程设置了给定的位，那么这个进程就可以在相关的 CPU 上运行。因此，如果一个进程可以在任何 CPU 上运行，并且能够根据需要在处理器之间进行迁移，那么位掩码就全是 1。实际上，这就是 Linux 中进程的缺省状态；（这部分内容在这个博客中有提到一点

 　　cpus_allowed用于控制进程可以在哪里处理器上运行

• sched_set_affinity() （用来修改位掩码）
• sched_get_affinity() （用来查看当前的位掩码）

#define _GNU_SOURCE 

#include
#include
#include
#include
#include
#include
#include
#include


int main()
{
cpu_set_t mask;
cpu_set_t get;

int cpus = sysconf(_SC_NPROCESSORS_CONF);
printf("cpus: %d\n", cpus);
CPU_ZERO(&mask);    /* 初始化set集，将set置为空*/
    CPU_SET(0, &mask);  /* 依次将0、1、2、3号cpu加入到集合，前提是你的机器是多核处理器*/
    CPU_SET(1, &mask);
    CPU_SET(2, &mask);
    CPU_SET(3, &mask);
    
    /*设置cpu 亲和性（affinity）*/
    if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
        printf("Set CPU affinity failue, ERROR:%s\n", strerror(errno));
        return -1; 
    }   
    usleep(1000); /* 让当前的设置有足够时间生效*/
 
     /*查看当前进程的cpu 亲和性*/
    CPU_ZERO(&get);
if (sched_getaffinity(0, sizeof(get), &get) == -1) {
printf("get CPU affinity failue, ERROR:%s\n", strerror(errno));
return -1; 
}   
    
    /*查看运行在当前进程的cpu*/
int i;
    for(i = 0; i < cpus; i++) {


        if (CPU_ISSET(i, &get)) { /*查看cpu i 是否在get 集合当中*/
            printf("this process %d of running processor: %d\n", getpid(), i); 
         }    
    }

  sleep(3); //让程序停在这儿，方便top命令查看

return 0;

}

上面代码当中用到了syscall这个函数，顺便也在这里做一下说明

　　syscall是执行一个系统调用，根据指定的参数number和所有系统调用的接口来确定调用哪个系统调用，用于用户空间跟内核之间的数据交换

　　下面是syscall函数原型及一些常用的number　

 1 //syscall - indirect system call
 2 SYNOPSIS
 3        #define _GNU_SOURCE         /* See feature_test_macros(7) */
 4        #include 
 5        #include    /* For SYS_xxx definitions */
 6 
 7        int syscall(int number, ...);
 8        
 9 /* sysconf( _SC_PAGESIZE );  此宏查看缓存内存页面的大小；打印用%ld长整型。
10  sysconf( _SC_PHYS_PAGES ) 此宏查看内存的总页数；打印用%ld长整型。
11  sysconf( _SC_AVPHYS_PAGES ) 此宏查看可以利用的总页数；打印用%ld长整型。
12  sysconf( _SC_NPROCESSORS_CONF ) 查看cpu的个数；打印用%ld长整。
13  sysconf( _SC_NPROCESSORS_ONLN ) 查看在使用的cpu个数；打印用%ld长整。
14  (long long)sysconf(_SC_PAGESIZE) * (long long)sysconf(_SC_PHYS_PAGES) 计算内存大小。
15  sysconf( _SC_LOGIN_NAME_MAX ) 查看最大登录名长度；打印用%ld长整。
16  sysconf( _SC_HOST_NAME_MAX ) 查看最大主机长度；打印用%ld长整。
17  sysconf( _SC_OPEN_MAX )  每个进程运行时打开的文件数目；打印用%ld长整。
18  sysconf(_SC_CLK_TCK) 查看每秒中跑过的运算速率；打印用%ld长整。*/

三、线程与cpu的绑定

线程于进程的绑定方法大体一致，需要注意的是线程绑定于进程的区别是所用函数不一样

线程绑定用到下面两个函数，跟进程类似就不做详细说明，下面直接贴出函数原型：

 1 NAME
 2        pthread_setaffinity_np, pthread_getaffinity_np - set/get CPU affinity of a thread
 3 
 4 SYNOPSIS
 5        #define _GNU_SOURCE             /* See feature_test_macros(7) */
 6        #include 
 7 
 8        int pthread_setaffinity_np(pthread_t thread, size_t cpusetsize,
 9                                   const cpu_set_t *cpuset);
10        int pthread_getaffinity_np(pthread_t thread, size_t cpusetsize,
11                                   cpu_set_t *cpuset);
12 
13        Compile and link with -pthread.
14 
15 DESCRIPTION
16        The  pthread_setaffinity_np()  function  sets the CPU affinity mask of the thread thread to the CPU set pointed to by cpuset.  If the call is successful, and the thread is not
17        currently running on one of the CPUs in cpuset, then it is migrated to one of those CPUs.
18 
19        The pthread_getaffinity_np() function returns the CPU affinity mask of the thread thread in the buffer pointed to by cpuset.
20 
21        For more details on CPU affinity masks, see sched_setaffinity(2).  For a description of a set of macros that can be used to manipulate and inspect CPU sets, see CPU_SET(3).
22 
23        The argument cpusetsize is the length (in bytes) of the buffer pointed to by cpuset.  Typically, this argument would be specified as sizeof(cpu_set_t).  (It may be some  other
24        value, if using the macros described in CPU_SET(3) for dynamically allocating a CPU set.)
25 
26 RETURN VALUE
27        On success, these functions return 0; on error, they return a nonzero error number

 

下面同样是个具体的例子：将当前线程绑定到0、1、2、3号cpu上

 1 #define _GNU_SOURCE
 2 #include 
 3 #include 
 4 #include <string.h>
 5 #include 
 6 #include 
 7 #include 
 8 
 9 void *testfunc(void *arg)
10 {
11     int i, cpus = 0;
12     cpu_set_t mask;
13     cpu_set_t get;
14 
15     cpus = sysconf(_SC_NPROCESSORS_CONF);
16     printf("this system has %d processor(s)\n", cpus);
17     
18     CPU_ZERO(&mask);
19     for (i = 0; i < 4; i++) { /*将0、1、2、3添加到集合中*/
20         CPU_SET(i, &mask);
21     }   
22 
23     /* 设置cpu 亲和性(affinity)*/
24     if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0) {
25         fprintf(stderr, "set thread affinity failed\n");
26     }   
27     
28     /* 查看cpu 亲和性(affinity)*/
29     CPU_ZERO(&get);
30     if (pthread_getaffinity_np(pthread_self(), sizeof(get), &get) < 0) {
31         fprintf(stderr, "get thread affinity failed\n");
32     }   
33 
34     /* 查看当前线程所运行的所有cpu*/
35     for (i = 0; i < cpus; i++) {
36         if (CPU_ISSET(i, &get)) {
37             printf("this thread %d is running in processor %d\n", (int)pthread_self(), i); 
38         }   
39     }   
40     sleep(3); //查看
41     
42     pthread_exit(NULL);
43 }
44  
45 int main(int argc, char *argv[])
46 {
47     pthread_t tid;
48     if (pthread_create(&tid, NULL, (void *)testfunc, NULL) != 0) {
49         fprintf(stderr, "thread create failed\n");
50         return -1; 
51     }   
52 
53     pthread_join(tid, NULL);
54     return 0;
55 }

运行结果如下：

1 [root@localhost thread]# ./test                      
2 this system has 24 processor(s)
3 this thread 2812323584 is running in processor 0
4 this thread 2812323584 is running in processor 1
5 this thread 2812323584 is running in processor 2
6 this thread 2812323584 is running in processor 3