[Pthread] Linux中的线程同步机制(三)--Practice

上回说到Glibc中(NPTL)的线程同步方式如Mutex,Semaphore等都使用了futex作为其基础。那么实际使用是什么样子，又会碰到什么问题呢？
先来看一个使用semaphore同步的例子。

sem_t sem_a;
void *task1();

int main(void){
 int ret=0;
 pthread_t thrd1;
 sem_init(&sem_a,0,1);
 ret=pthread_create(&thrd1,NULL,task1,NULL); //创建子线程
 pthread_join(thrd1,NULL); //等待子线程结束
}

void *task1()
{
  int sval = 0;
  sem_wait(&sem_a); //持有信号量
  sleep(5); //do_nothing
  sem_getvalue(&sem_a,&sval);
  printf("sem value = %d/n",sval);
  sem_post(&sem_a); //释放信号量
}

程序很简单，我们在主线程(执行main的线程)中创建了一个线程，并用join等待其结束。在子线程中，先持有信号量，然后休息一会儿，再释放信号量，结束。
因为这段代码中只有一个线程使用信号量，也就是没有线程间竞争发生，按照futex的理论，因为没有竞争，所以所有的锁操作都将在用户态中完成，而不会执行系统调用而陷入内核。我们用strace来跟踪一下这段程序的执行过程中所发生的系统调用:
...
20533 futex(0xb7db1be8, FUTEX_WAIT, 20534, NULL <unfinished ...>
20534 futex(0x8049870, FUTEX_WAKE, 1)   = 0
20533 <... futex resumed> )             = 0
...
20533是main线程的id,20534是其子线程的id。出乎我们意料之外的是这段程序还是发生了两次futex系统调用，我们来分析一下这分别是什么原因造成的。

1. 出人意料的"sem_post()"
20534 futex(0x8049870, FUTEX_WAKE, 1)   = 0
子线程还是执行了FUTEX_WAKE的系统调用，就是在sem_post(&sem_a);的时候，请求内核唤醒一个等待在sem_a上的线程,其返回值是0，表示现在并没有线程等待在sem_a(这是当然的，因为就这么一个线程在使用sem_a)，这次futex系统调用白做了。这似乎和futex的理论有些出入，我们再来看一下sem_post的实现。
int sem_post (sem_t *sem)
{
  int *futex = (int *) sem;
  int nr = atomic_increment_val (futex);
  int err = lll_futex_wake (futex, nr);
  return 0;
}
我们看到，Glibc在实现sem_post的时候给futex原子性的加上1后，不管futex的值是什么，都执行了lll_futex_wake(),即futex(FUTEX_WAKE)系统调用。
在第二部分中(见前文)，我们分析了sem_wait的实现，当没有竞争的时候是不会有futex调用的，现在看来真的是这样，但是在sem_post的时候，无论有无竞争，都会调用sys_futex()，为什么会这样呢？我觉得应该结合semaphore的语义来理解。在semaphore的语义中，sem_wait()的意思是："挂起当前进程，直到semaphore的值为非0，它会原子性的减少semaphore计数值。" 我们可以看到,semaphore中是通过0或者非0来判断阻塞或者非阻塞线程。即无论有多少线程在竞争这把锁，只要使用了semaphore，semaphore的值都会是0。这样，当线程推出互斥区，执行sem_post(),释放semaphore的时候，将其值由0改1，并不知道是否有线程阻塞在这个semaphore上，所以只好不管怎么样都执行futex(uaddr, FUTEX_WAKE, 1)尝试着唤醒一个进程。而相反的，当sem_wait()，如果semaphore由1变0，则意味着没有竞争发生，所以不必去执行futex系统调用。我们假设一下，如果抛开这个语义，如果允许semaphore值为负，则也可以在sem_post()的时候，实现futex机制。

2. 半路杀出的"pthread_join()"
那另一个futex系统调用是怎么造成的呢? 是因为pthread_join();
在Glibc中，pthread_join也是用futex系统调用实现的。程序中的pthread_join(thrd1,NULL); 就对应着
20533 futex(0xb7db1be8, FUTEX_WAIT, 20534, NULL <unfinished ...>
很好解释，主线程要等待子线程(id号20534上)结束的时候，调用futex(FUTEX_WAIT)，并把var参数设置为要等待的子线程号(20534)，然后等待在一个地址为0xb7db1be8的futex变量上。当子线程结束后，系统会负责把主线程唤醒。于是主线程就
20533 <... futex resumed> )             = 0
恢复运行了。
要注意的是，如果在执行pthread_join()的时候，要join的线程已经结束了，就不会再调用futex()阻塞当前进程了。

3. 更多的竞争。
我们把上面的程序稍微改改:
在main函数中:
int main(void){
 ...
 sem_init(&sem_a,0,1);
 ret=pthread_create(&thrd1,NULL,task1,NULL);
 ret=pthread_create(&thrd2,NULL,task1,NULL);
 ret=pthread_create(&thrd3,NULL,task1,NULL);
 ret=pthread_create(&thrd4,NULL,task1,NULL);
 pthread_join(thrd1,NULL);
 pthread_join(thrd2,NULL);
 pthread_join(thrd3,NULL);
 pthread_join(thrd4,NULL);
 ...
}

这样就有更的线程参与sem_a的争夺了。我们来分析一下，这样的程序会发生多少次futex系统调用。
1) sem_wait()
    第一个进入的线程不会调用futex，而其他的线程因为要阻塞而调用，因此sem_wait会造成3次futex(FUTEX_WAIT)调用。
2) sem_post()
    所有线程都会在sem_post的时候调用futex, 因此会造成4次futex(FUTEX_WAKE)调用。
3) pthread_join()
    别忘了还有pthread_join()，我们是按thread1, thread2, thread3, thread4这样来join的，但是线程的调度存在着随机性。如果thread1最后被调度，则只有thread1这一次futex调用，所以pthread_join()造成的futex调用在1-4次之间。(虽然不是必然的，但是4次更常见一些)   
所以这段程序至多会造成3+4+4=11次futex系统调用，用strace跟踪，验证了我们的想法。
19710 futex(0xb7df1be8, FUTEX_WAIT, 19711, NULL <unfinished ...>
19712 futex(0x8049910, FUTEX_WAIT, 0, NULL <unfinished ...>
19713 futex(0x8049910, FUTEX_WAIT, 0, NULL <unfinished ...>
19714 futex(0x8049910, FUTEX_WAIT, 0, NULL <unfinished ...>
19711 futex(0x8049910, FUTEX_WAKE, 1 <unfinished ...>
19710 futex(0xb75f0be8, FUTEX_WAIT, 19712, NULL <unfinished ...>
19712 futex(0x8049910, FUTEX_WAKE, 1 <unfinished ...>
19710 futex(0xb6defbe8, FUTEX_WAIT, 19713, NULL <unfinished ...>
19713 futex(0x8049910, FUTEX_WAKE, 1 <unfinished ...>
19710 futex(0xb65eebe8, FUTEX_WAIT, 19714, NULL <unfinished ...>
19714 futex(0x8049910, FUTEX_WAKE, 1)   = 0
(19710是主线程，19711，19712，19713,19714是4个子线程)

4. 更多的问题
事情到这里就结束了吗？ 如果我们把semaphore换成Mutex试试。你会发现当自始自终没有竞争的时候，mutex会完全符合futex机制，不管是lock还是unlock都不会调用futex系统调用。有竞争的时候，第一次pthread_mutex_lock的时候不会调用futex调用，看起来还正常。但是最后一次pthread_mutex_unlock的时候，虽然已经没有线程在等待mutex了，可还是会调用futex(FUTEX_WAKE)。这又是什么原因造成的呢？留给感兴趣的同学去分析吧。

小结：
1. 虽然semaphore，mutex等同步方式构建在futex同步机制之上。然而受其语义等的限制，并没有完全按futex最初的设计实现。
2. pthread_join()等函数也是调用futex来实现的。
3. 不同的同步方式都有其不同的语义，不同的性能特征，适合于不同的场景。我们在使用过程中要知道他们的共性，也得了解它们之间的差异。这样才能更好的理解多线程场景，写出更高质量的多线程程序。

至此futex的学习就告一段落了，希望对大家有所帮助。

Pthread 08/01/08