LINUX多线程pipeline架构的创建分析

       POSIX多线程的使用方式中， 有一种很重要的方式-----流水线（亦称为“管道”）方式，“数据元素”流串行地被一组线程按顺序执行。它的使用架构可参考下图：

                                                      

       以面向对象的思想去理解，整个流水线，可以理解为一个数据传输的管道；该管道中的每一个工作线程，可以理解为一个整个流水线的一个工作阶段stage,

这些工作线程之间的合作是一环扣一环的。靠输入口越近的工作线程，是时序较早的工作阶段stage,它的工作成果会影响下一个工作线程阶段（stage）的工作结果,即下个阶段依赖于上一个阶段的输出，上一个阶段的输出成为本阶段的输入。这也是pipeline的一个共有特点！

     那么，这个管道如何来创建的呢？

     第一步，我们进行管道和工作流程阶段的定义。

 这个管道可以理解为一个单链表，链表的结点为每个工作阶段（工作线程被封装在这个阶段中）。

请看代码：

/*工作阶段的结构定义*/
typedef struct stage_tag {
    pthread_mutex_t     mutex;          /* Protect data */
    pthread_cond_t      avail;          /* Data available */
    pthread_cond_t      ready;          /* Ready for data */
    int                 data_ready;     /* Data present */
    long                data;           /* Data to process */
    pthread_t           thread;         /* Thread for stage */
    struct stage_tag    *next;          /* Next stage */
} stage_t;

/*
 * 管道的结构定义，工作阶段是它的一个链表结点 */
typedef struct pipe_tag {
    pthread_mutex_t     mutex;          /* Mutex to protect pipe */
    stage_t             *head;          /* First stage */
    stage_t             *tail;          /* Final stage */
    int                 stagesCount;         /* Number of stages */
    int                 active;         /* Active data elements */
} pipe_t;

  第二步，我们进行管道的创建。

     前面的分析，我们知道，工作管道其实是所有工作阶段的组合。（这里，组合的意思是管道是一个链表。这个链表由结点组成.结点即我们的每一个工作阶段--stage）.

      我们假设工作阶段的总数是事先知道的（例如：20）。那么创建一个管道的过程，其实就是依次创建20个结点，并建立这些结点之间的数据关系---链表。

      这里，我们采用从头至尾的顺序方法建立。它的实质是：采用尾插法建立一个单链表。

示例代码如下：

int pipe_create (pipe_t *pipe, int stageCount)
{
    int pipe_index;
    stage_t **link = &pipe->head, *new_stage, *stage;
    int status;

    status = pthread_mutex_init (&pipe->mutex, NULL);
    pipe->stageCount= stageCount; /*需要创建的结点总数*/
    pipe->active = 0;

    for (pipe_index = 0; pipe_index <= stageCount; pipe_index++) {
        new_stage = (stage_t*)malloc (sizeof (stage_t));/*为结点分配内存空间*/
        status = pthread_mutex_init (&new_stage->mutex, NULL);
        status = pthread_cond_init (&new_stage->ready, NULL);
        new_stage->data_ready = 0;/*初始化工作阶段stage的数据成员，上2行代码也是做这样的工作*/
        *link = new_stage;/*当前创建的结点为尾结点。如果是第二个结点以后的结点，该句代码的作用是把新创建的结点插入到链表的尾部*/
        link = &new_stage->next;/*建立结点之间的联系.link的作用实际是维护一个尾指针*/
    }

    *link = (stage_t*)NULL;     /* Terminate list */
    pipe->tail = new_stage;     /* Record the tail */

    /*
     * Create the threads for the pipe stages only after all
     * the data is initialized (including all links). Note
     * that the last stage doesn't get a thread, it's just
     * a receptacle for the final pipeline value.
     *
     * At this point, proper cleanup on an error would take up
     * more space than worthwhile in a "simple example", so
     * instead of cancelling and detaching all the threads
     * already created, plus the synchronization object and
     * memory cleanup done for earlier errors, it will simply
     * abort.
     */
    for (   stage = pipe->head;
            stage->next != NULL;
            stage = stage->next) {
        status = pthread_create (
            &stage->thread, NULL, pipe_stage, (void*)stage);
        if (status != 0)
            err_abort (status, "Create pipe stage");
    }
    return 0;
}