进程间通信——消息队列（Message queue）

在Linux中，IPC消息队列是一个双向通信的全内存设计，即内核保证了读写顺序和数据同步，并且是性能比较好的先进先出的数据结构。消息队列的应用场景：比如异步任务处理，抢占式的数据分发，顺序缓存区等。

消息队列的产生原因

消息队列其实就是消息传输过程中保存消息的容器，既然有了管道，为什么要出现消息队列呢？理由如下：

（1）生命周期：匿名管道和命名管道都是随进程的，意味着管道的生命周期是随进程的退出而退出的。

（2）传送方式：管道传送数据时以无格式字节流的形式传送，给程序的开发带来不便。

（3）信号传递量：担当数据传送媒介的管道，其缓冲区大小受到较大的限制。

鉴于上面的三种原因：IPC方式下的另一种进程间通信——>消息队列应运而生。它克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。

什么是消息队列？

[普通定义]：消息队列提供了一种从一个进程向另一个进程发送一个数据块的方法，每个数据块都被认为含有一个类型，接受者接受的数据块可以有不同的类型值，我们可以通过发送消息来避免命名管道的同步和阻塞问题。

[最佳定义]：内核地址空间中的内部链表，消息可以顺序地发送到队列中，并以几种不同的方式从队列中获取，每个消息队列是由IPC标识符所唯一标识的。

消息队列与管道的不同在于：消息队列是基于消息的，而管道是基于字节流的，且消息队列的读取不一定是先入先出，而且如果你没有显示的删除它，那么在关机之前它一直存在。

消息队列的上限

消息队列与管道也是一样的不足，就是每个消息队列的最大长度是有上限的（MSGMAX），每个消息队列的总的字节数是有上限（MSGMNB），系统上消息队列的总数也是有一个上限（MSGMNI）。

[root@localhost panpan]# cat /proc/sys/kernel/msgmax
65536   //每个消息的最大长度
[root@localhost panpan]# cat /proc/sys/kernel/msgmnb
65536   //每个消息队列的总的字节数
[root@localhost panpan]# cat /proc/sys/kernel/msgmni
1735   //系统消息队列的总数

IPC对象数据结构

内核为每个IPC对象维护了一个数据结构（存在于/usr/include/linux/ipc.h）

struct ipc_perm
{
        __kernel_key_t  key;//端口号
        __kernel_uid_t  uid;//所有者的用户ID
        __kernel_gid_t  gid;//所有者组ID
        __kernel_uid_t  cuid;//创建者的用户ID
        __kernel_gid_t  cgid;//创建者的组ID
        __kernel_mode_t mode; //访问模式
        unsigned short  seq;//顺序值
};

不仅如此，消息队列，共享内存和信号量都有这样一个共同的数据结构。

消息队列结构

消息队列结构存在于/usr/include/linux/msg.h目录下：

struct msqid_ds {
        struct ipc_perm msg_perm;    /* IPC对象结构体 */
        struct msg *msg_first;       /*消息队列头指针*/
        struct msg *msg_last;        /*消息队列尾指针*/
        __kernel_time_t msg_stime;   /*最后一次插入消息队列消息的时间*/
        __kernel_time_t msg_rtime;   /*最后一次接收消息即删除队列中一个消息的时间*/
        __kernel_time_t msg_ctime;   /* 最后修改队列的时间*/
        unsigned long  msg_lcbytes;  /* Reuse junk fields for 32 bit */
        unsigned long  msg_lqbytes;  /* ditto */
        unsigned short msg_cbytes;   /*队列上所有消息总的字节数 */
        unsigned short msg_qnum;     /*在当前队列上消息的个数 */
        unsigned short msg_qbytes;   /* 队列最大的字节数 */
        __kernel_ipc_pid_t msg_lspid;/* 发送最后一条消息的进程的pid */
        __kernel_ipc_pid_t msg_lrpid;/* 接收最后一条消息的进程的pid */
};

从上图可以看出，消息队列结构体中的第一条内容就是IPC结构体，即IPC结构体是共用的，后面的都是消息队列所有的成员，并且消息队列是由链表来实现的。

消息队列相关函数接口说明

1.msgget ( )函数（用于创建和访问一个消息队列）

int msgget(key_t key, int msgflg);

参数[key]：类似于端口号，也可以由ftok函数生成。

参数[msgflg]：存在两个IPC标志，即IPC_CREAT和IPC_EXCL。

（1）IPC_CREAT：如果IPC不存在，则创建一个IPC资源，否则打开操作。

（2）IPC_EXCL:只有在共享内存不存在的时候，新的共享内存才建立，否则出错。如果单独使用IPC_EXCL，xxxget ( )函数要么返回一个已经存在的共享内存的操作符，要么返回一个新建的共享内存的标识符。

（3）如果IPC_CREAT和IPC_EXCL同时使用，xxxget ( ) 函数将返回一个新建的IPC标识符，如果该IPC资源已经存在，则返回-1出错，这样就保证了只有是二者同时使用，我们就可以保证所得的对象一定是新建的。

2.msgsnd ( ) 和 msgrcv ( ) 函数（msgrcv从队列中取出消息，msgsnd将数据放到消息队列中）。

int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg);
ssize_t msgrcv(int msqid, void *msgp, size_t msgsz, long msgtyp, int msgflg);

参数[msgid]：由msgget函数返回的消息队列标识符。

参数[msgp]：指向一个准备发送消息的指针，此位置用来暂时存储发送和接受的消息：是一个用户可以定义的通用结构体，形态如下：

struct msgstu
{
     long type; //大于0
     char mtext[用户指定大小];
};

参数[msgsz]：指msgp指向的消息的长度。

参数[msgtyp]：从消息队列内读取的消息形态，如果值为0，则表示消息队列中的所有消息都会被读取。

参数[msgflag]：用来执行核心程序在队列没有数据的情况下采取的行动，如果msgflg和常数IPC_NOWAIT合用，则在msgsnd ( ) 执行时，若消息队列已满，则msgsnd ( )就不会被阻塞，而会立即返回-1；如果执行的是msgrcv ( ) ，则在消息队列为空时，不做等待马上返回-1，并设定错误码为ENOMSG；当msgflg为0时，msgsnd ( ) 以及 msgrcv ( ) 在队列为满或者为空的情况下，采取阻塞等待的处理模式。

3.msgctl ( ) 函数（控制消息队列，与共享内存的shmctl类似）

int msgctl(int msqid, int cmd, struct msqid_ds *buf);

参数[msgid]：由msgget函数返回的消息队列标识符。

参数[cmd]：指将要采取的行动，系统定义了3中cmd操作：

IPC_STAT：该命令用来获取消息队列对应的msgid_ds数据结构，并将保存到buf指定的地址空间。

IPC_SET：设定消息队列的属性，要设置的属性存储在buf里面。

IPC_RMID:从内核中删除msgid表示的消息队列。

参数[buf]：指向msg_ds结构的指针，它指向消息队列模式和访问权限的结构。

msg_ds结构体的内容如下：

struct msgid_ds    
{    
    uid_t shm_perm.uid;    
    uid_t shm_perm.gid;    
    mode_t shm_perm.mode;    
};

成功时返回0，失败时返回-1.

key_t键

System_v IPC使用key_t键作为他们的名字，在CentOS6.5 key_t的值被定义为int类型。

/usr/include/sys/ipc.h

typedef __key_t key_t;

/usr/include/bits/types.h

__STD_TYPE __DADDR_T_TYPE __daddr_t;    /* The type of a disk address.  */
__STD_TYPE __SWBLK_T_TYPE __swblk_t;    /* Type of a swap block maybe?  */
__STD_TYPE __KEY_T_TYPE __key_t;        /* Type of an IPC key.  */

/usr/include/bits/typesizes.h

#define __KEY_T_TYPE		__S32_TYPE

/usr/include/bits/types

# define __S64_TYPE		long int
# define __U64_TYPE		unsigned long int

ftok ( ) 函数

函数ftok把一个已经存在的路径名和一个整数标识符转换成一个key_t值，称为IPC键。

 key_t ftok(const char *pathname, int proj_id);

参数[pathname]：通常是跟本应用有关的目录。

参数[proj_id]：指的是本应用所用到的IPC的一个序列号，成功返回IPC键，失败返回-1。

注：两个进程如在pathname和proj_id上达成一致（即约定好），双方就都能够通过调用ftok函数得到同一个IPC键。

pathname的实现是组合了三个键，分别是：

（1）pathname所在文件系统的信息（stat结构的st_dev成员）。

（2）pathname在本文件系统内的索引节点号（stat结构体st_ino成员）。

（3）id的低序8位（不能为0）。

ftok调用返回的整数IPC键由proj_id的低序8位，st_dev成员的低序8位，st_info的低序16位组合而成。

不能保证两个不同的路径名与同一个proj_id的组合产生不同的键，因为上面所列的三个条目（文件系统标识符、索引节点、proj_id）中的信息位数可能大于一个整数的信息位数。

消息队列模拟实现客户端与服务器端通信

Makefile

//Makefile
.PHONY:all
all:client server

client:client.c comm.c
	gcc -o $@ $^

server:server.c comm.c
	gcc -o $@ $^

.PHONY:clean
clean:
	rm -f client server 

comm.h

//comm.h
#ifndef __COMM_H__
#define __COMM_H__

#include
#include
#include
#include
#include

#define PATHNAME "."
#define PROJ_ID 0x6666

#define SERVER_TYPE 1
#define CLIENT_TYPE 2

struct msgbuf
{
	long mtype;
	char mtext[1024];
};
int CreateMsgQueue();//创建消息队列
int GetMsgQueue();//接受消息队列
int DestroyMsgQueue(int msgid);//销毁消息队列
int SendMsg(int msgid,int who,char* msg);//发送消息
int RecvMsg(int msgid,int recvType,char out[]);//接受消息
#endif

comm.c

//comm.c
#include"comm.h"

//success > 0    failed == -1

static int CommMsgQueue(int flags)
{
	key_t key = ftok(PATHNAME,PROJ_ID);
	if(key < 0)
	{
		perror("ftok");
		return -1;
	}
	int msgid = msgget(key,flags);
	if(msgid < 0)
	{
		perror("msgget");
	}
	return msgid;
}
int CreateMsgQueue()
{
	return CommMsgQueue(IPC_CREAT | IPC_EXCL | 0666);
}
int GetMsgQueue()
{
	return CommMsgQueue(IPC_CREAT);
}
int DestroyMsgQueue(int msgid)
{
	if(msgctl(msgid,IPC_RMID,NULL) < 0)
	{
		perror("msgctl");
		return -1;
	}
	return 0;
}
int SendMsg(int msgid,int who,char* msg)
{
	struct msgbuf buf;
	buf.mtype = who;
	strcpy(buf.mtext,msg);
	if(msgsnd(msgid,(void*)&buf,sizeof(buf.mtext),0) < 0)
	{
		perror("msgsnd");
		return -1;
	}
	return 0;
}
int RecvMsg(int msgid,int recvType,char out[])
{
	struct msgbuf buf;
	if(msgrcv(msgid,(void*)&buf,sizeof(buf.mtext),recvType,0) < 0)
	{
		perror("msgrcv");
		return -1;
	}
	strcpy(out,buf.mtext);
	return 0;
}
 

server.c

//server.c
#include"comm.h"

int main()
{
	int msgid = CreateMsgQueue();
	char buf[1024];
	while(1)
	{
		buf[0] = 0;
		RecvMsg(msgid,CLIENT_TYPE,buf);
		printf("client# %s\n",buf);

		printf("Please Enter# ");
		fflush(stdout);
		ssize_t s = read(0,buf,sizeof(buf));
		if(s > 0)
		{
			buf[s-1] = 0;
			SendMsg(msgid,SERVER_TYPE,buf);
			printf("send done,wait recv ...\n");
		}
	}
	DestroyMsgQueue(msgid);
	return 0;
}

client.c

//client.c
#include"comm.h"

int main()
{
	int msgid = GetMsgQueue();
	char buf [1024];
	while(1)
	{
		buf[0] = 0;
		printf("Please Enter# ");
		fflush(stdout);
		ssize_t s = read(0,buf,sizeof(buf));
		if(s > 0)
		{
			buf[s-1] = 0;
			SendMsg(msgid,CLIENT_TYPE,buf);
			printf("send done,wait recv ...\n");
		}

		RecvMsg(msgid,SERVER_TYPE,buf);
    	printf("server# %s\n",buf);
	}
	return 0;
}

显示IPC资源：

[panpan@localhost msg]$ ipcs

------ Shared Memory Segments --------
key        shmid      owner      perms      bytes      nattch     status      
0x00000000 131072     panpan     600        393216     2          dest         
0x00000000 163841     panpan     600        393216     2          dest         
0x00000000 196610     panpan     600        393216     2          dest         
0x00000000 229379     panpan     600        393216     2          dest         
0x00000000 262148     panpan     600        393216     2          dest         
0x00000000 294917     panpan     600        393216     2          dest         
0x00000000 327686     panpan     600        393216     2          dest         
0x00000000 360455     panpan     600        393216     2          dest         
0x00000000 393224     panpan     600        393216     2          dest         
0x00000000 425993     panpan     600        393216     2          dest         
0x00000000 458762     panpan     600        393216     2          dest         
0x00000000 491531     panpan     600        393216     2          dest         
0x00000000 524300     panpan     600        393216     2          dest         
0x00000000 557069     panpan     600        393216     2          dest         
0x00000000 589838     panpan     600        393216     2          dest         
0x00000000 622607     panpan     600        393216     2          dest         

------ Semaphore Arrays --------
key        semid      owner      perms      nsems     

------ Message Queues --------
key        msqid      owner      perms      used-bytes   messages    
0x6602248a 32768      panpan     666        0            0           

删除IPC资源：

[panpan@localhost msg]$ ipcrm -q 32768
[panpan@localhost msg]$ ipcs

------ Shared Memory Segments --------
key        shmid      owner      perms      bytes      nattch     status      
0x00000000 131072     panpan     600        393216     2          dest         
0x00000000 163841     panpan     600        393216     2          dest         
0x00000000 196610     panpan     600        393216     2          dest         
0x00000000 229379     panpan     600        393216     2          dest         
0x00000000 262148     panpan     600        393216     2          dest         
0x00000000 294917     panpan     600        393216     2          dest         
0x00000000 327686     panpan     600        393216     2          dest         
0x00000000 360455     panpan     600        393216     2          dest         
0x00000000 393224     panpan     600        393216     2          dest         
0x00000000 425993     panpan     600        393216     2          dest         
0x00000000 458762     panpan     600        393216     2          dest         
0x00000000 491531     panpan     600        393216     2          dest         
0x00000000 524300     panpan     600        393216     2          dest         
0x00000000 557069     panpan     600        393216     2          dest         
0x00000000 589838     panpan     600        393216     2          dest         
0x00000000 622607     panpan     600        393216     2          dest         

------ Semaphore Arrays --------
key        semid      owner      perms      nsems     

------ Message Queues --------
key        msqid      owner      perms      used-bytes   messages    

运行结果：

总结：

（1）消息队列可以独立于发送和接收数据的进程而存在，从而消除了在同步命名管道的打开和关闭可能产生的困难。

（2）可以通过发送消息可以避免命名管道的同步和阻塞问题，不需要由进程自己来提供同步方法。

（3）接受程序可以通过消息类型有选择的接收数据，而不像命名管道中的那样，只能默认的接受。

（4）双向通信，生命周期随内核。