linux下多线程间通信之信号量，消息队列的综合运用
一、消息队列介绍
消息队列是消息的链接表，存放在内核中。其实质上就是一个内核链表，消息队列提供了一种从一个进程向另一个进程发送一个数据块的方法。Linux用宏MSGMAX和MSGMNB来限制一条消息的最大长度和一个队列的最大长度。对消息队列有写权限的进程可以按照一定的规则添加新消息；对消息队列有读权限的进程则可以从消息队列中读出消息。消息队列是随内核持续的并和进程相关，
系统中记录消息队列的数据结构 (struct ipc_ids msg_ids)位于内核中，系统中的所有消息队列都可以在结构msg_ids中中找到访问入口。只有在内核重起或者显示删除一个消息队列时，该消息队列才会真正被删除。基于此原因，在做过的项目中曾经碰到过一个问题：当在调试程序完后让程序退出按下”ctrl+c”后，消息队列并未删除，此时再运行此程序可能会跑不起来的BUG，原因是没有删除的消息队列中有数据，这个时候接受者将其取出处理的结果是未知的，特别是当取出队列中的值是指针时，可以想象这时必死。
个人认为消息队列并不能实现进程之间的同步，还需要一些其它的操作来控制发送的是同步消息还是异步消息。
同步消息：进程A向进程B发送一个消息后，要等到进程B处理完由A发送来的 消息以后进程A才可以往下执行。否则进程A将一直等待不会往下执行。
异步消息：进程A向进程B发送一个消息后，进程A不管进程B处理完消息与否都往下执行。
1、IPC标识符：
消息队列, 信号量和共享存储段, 都属于内核中的IPC结构, 它们都用标识符来描述.。这个标识符是一个非负整数, 与文件描述符不同的是, 创建时并不会重复利用通过删除回收的整数, 而是每次+1, 直到整数最大值回转到0。
2、IPC 关键字
标识符是IPC对象的内部名, 而它的外部名则是key(键), 它的基本类型是key_t, 在头文件中定义为长整型. 键由内核变换成标识符。linux一般用f t o k ( )函数来生成关键字。
二、ipcs 命令
命令ipcs用于读取System V IPC目标的状态。
ipcs -q: 只显示消息队列。
ipcs -s: 只显示信号量。
ipcs -m: 只显示共享内存。
ipcs –help: 其他的参数。
下面是ipcs命令输出的例子：
xxx@xxx-desktop:~$ ipcs
—— Shared Memory Segments ——–
key shmid owner perms bytes nattch status
0x00000000 0 ding 600 393216 2 dest
0x00000000 32769 ding 600 393216 2 dest
0x00000000 65538 ding 600 393216 2 dest
0x00000000 98307 ding 600 393216 2 dest
0x00000000 131076 ding 600 393216 2 dest
0x00000000 163845 ding 600 393216 2 dest
0x00000000 196614 ding 600 393216 2 dest
0x00000000 229383 ding 600 393216 2 dest
0x00000000 262152 ding 600 393216 2 dest
0x00000000 294921 ding 600 393216 2 dest
0x00000000 327690 ding 600 393216 2 dest
0x00000000 360459 ding 600 393216 2 dest
0x00000000 393228 ding 600 393216 2 dest
0x00000000 425997 ding 600 393216 2 dest
0x00000000 458766 ding 600 393216 2 dest
0x00000000 491535 ding 600 393216 2 dest
0x00000000 557072 ding 600 393216 2 dest
0x00000000 589841 ding 600 393216 2 dest
—— Semaphore Arrays ——–
key semid owner perms nsems
0x00000000 32768 root 666 1
—— Message Queues ——–
key msqid owner perms used-bytes messages
三、消息队列的相关函数
1、创建消息队列函数。
int msgget(key_t key, int msgflg)参数：
key：消息队列关联的键。
msgflg：消息队列的建立标志和存取权限。
返回说明：
成功执行时，返回消息队列标识值。失败返回-1。
2、向消息队列中发送消息。
int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg)参数：
msqid：消息队列的识别码。
msgp：指向消息缓冲区的指针，此位置用来暂时存储发送和接收的消息，是一个用户可定义的通用结构，形态如下
struct msgbuf {
long mtype; /* 消息类型，必须 > 0 */
char mtext[1]; /* 消息文本 */
};
msgsz：消息的大小。
msgtyp：从消息队列内读取的消息形态。如果值为零，则表示消息队列中的所有消息都会被读取。
msgflg：用来指明核心程序在队列没有数据的情况下所应采取的行动。如果msgflg和常数IPC_NOWAIT合用，则在msgsnd()执行时若是消息队列已满，则msgsnd()将不会阻塞，而会立即返回-1，如果执行的是msgrcv()，则在消息队列呈空时，不做等待马上返回-1，并设定错误码为ENOMSG。当msgflg为0时，msgsnd()及msgrcv()在队列呈满或呈空的情形时，采取阻塞等待的处理模式。
返回说明：
成功执行时，返回0, 失败返回-1。
3、从消息队列读取信息。
ssize_t msgrcv(int msqid, void *msgp, size_t msgsz, long msgtyp, int msgflg)参数： 同上。
成功执行时，返回0, 失败返回-1。
4、在消息队列上执行指定的操作。
int msgctl(int msqid, int cmd, struct msqid_ds *buf)根据参数的不同和权限的不同，可以执行检索、删除等的操作。
参数:
msqid：消息队列的识别码。
buf: 消息队列进行的操作，它可以是：
(1) IPC_STAT: 取出系统保存的消息队列的msqid_ds 数据，并将其存入参数buf 指向的msqid_ds 结构中。msqid_ds 数据中唯一能被设定的只有msg_perm 成员，其是ipc_perm 类型的数据。而ipc_perm 中能被修改的只有mode,pid 和uid 成员。其他的都是只能由系统来设定。
(2) IPC_SET: 设定消息队列的msqid_ds 数据中的msg_perm 成员。设定的值由buf 指向的msqid_ds结构给出。
(3) IPC_EMID:将队列从系统内核中删除。
四、实例
以下的实例是基于的上一篇我写的文章Linux下多线程编程实例解析修改的:
#include message.cpp文件
#include return -1;
}
sem_wait((sem_t*)semaphore_id);
return 0;
}
/**************发送异步消息************/
int message_send_t::send_asyn_message(int message_id, void *in_message, int message_size)
{
if(message_id < 0)
{
cout<<"message_id < 0"<return -1;
}
if(message_size > CFG_MAX_MSG_SIZE)
{
cout<<"message_size too big"<//使用unique_ptr这个独享所有权的指针智能管理p_uniqure_msg
unique_ptr<unsigned char[]> p_uniqure_msg(new unsigned char[message_size+sizeof(nsp_messsge_head_t)]);
nsp_mssage_t* p_msg = (nsp_mssage_t*)p_uniqure_msg.get();
add_message_common_header(*p_msg, message_size, message_id);
memcpy(p_msg->msg_data.msg,in_message,message_size);
send_message(*p_msg, asyn_message_type, sizeof(nsp_messsge_head_t)+message_size);
return 0;
}
/**************************获取消息返回值**************************************/
int message_send_t::get_return_value(void)
{
nsp_mssage_t& message_buffer_instance = get_message_buffer();
get_message_ret_code(&message_buffer_instance);
}
/************************发送消息*******************************************/
void message_send_t::send_message(nsp_mssage_t& message_buffer,
int message_type,
int message_size)
{
set_message_syn(&message_buffer, message_type);
message_buffer.header.reservered = get_message_id(&message_buffer); //the "msgrcv()" requare message type, must be > 0
int destination_id = get_destination_id();
int qunue_id = mod_if_get_msgque_id(destination_id);
int return_v = msgsnd(qunue_id, &message_buffer, message_size-sizeof(message_buffer.header.reservered), 0);
if(return_v < 0)
{
cout<<"message_send_t::send_message gos_msgsnd failed"</**************************获取目的模块ID*****************************************/
void message_send_t::add_message_common_header(nsp_mssage_t& nsp_message,
int message_size,
int message_id)
{
set_message_id(&nsp_message,message_id );
int source_module_id = pthread_self();//获取自身线程的ID
set_message_srcmodule(&nsp_message, source_module_id);
int destination_id = get_destination_id();
set_message_destmodule(&nsp_message, destination_id);
set_message_data_length(nsp_message, message_size);
}
/********************************获取目的模块ID**********************************/
int message_send_t::get_destination_id(void)
{
return destination_id;
}
/*****************************获取消息缓冲区*************************************/
struct nsp_mssage_t& message_send_t::get_message_buffer(void)
{
return message_buffer;
}
/************************构造函数，初始化目的模块ID******************************************/
message_receive_t::message_receive_t()
{
destination_module_id = THREAD_ZERO_ID;
message_id = 100;
}
/**********************注册接收端消息类型*********************************************/
int message_receive_t::register_message(deal_message_t* deal_message)
{
message_map[message_id] = deal_message;
return message_id ++;
}
/***************************等待消息****************************************/
int message_receive_t::wait_message(int msgflg, int msg_id)
{
nsp_mssage_t& nsp_message_header = get_nsp_message_header();
int return_v = get_message(msgflg, nsp_message_header, msg_id);
if(return_v < 0)
{
return return_v;
}
return_v = deal_message();
if(return_v < 0)
{
cout<<"deal_message error"<return return_v;
}
int syn_flag = get_message_syn(&nsp_message_header);
if(syn_message_type == syn_flag)
{
send_ack_semaphore();
}
return return_v;
}
/******************************设定目的模块ID*************************************/
void message_receive_t::set_destination_id(int id)
{
if(destination_module_id == THREAD_ZERO_ID)
destination_module_id = id;
}
/*******************************添加消息源模块ID************************************/
void message_receive_t::add_source_id(int id)
{
source_module_id_array.push_back(id);
}
/**************************** 打印最近一次消息的消息源模块名字 **************************************/
void message_receive_t::print_recent_source_module_name(void)
{
nsp_mssage_t& nsp_message_header = get_nsp_message_header();
string name = mod_if_get_module_name(nsp_message_header.header.srcmodule);
cout<<"source module name = "</***************************判断源模块是否合法****************************************/
int message_receive_t::is_source_module_id_invalid(MODULE_IDS module_id)
{
int not_found_id = TRUE;
for(int i = 0; i < source_module_id_array.size();i++)
{
if(source_module_id_array[i] == module_id)
{
not_found_id = FALSE;
}
}
return not_found_id;
}
/*************************判断目的模块ID是否合法******************************************/
int message_receive_t::is_destination_module_id_invalid(MODULE_IDS module_id)
{
if(destination_module_id == module_id)
{
return FALSE;
}else
{
return TRUE;
}
}
/****************************获取消息buffer地址***************************************/
nsp_mssage_t& message_receive_t::get_nsp_message_header(void)
{
return nsp_message.header;
}
/********************************获取消息***********************************/
int message_receive_t::get_message(int msgflg,nsp_mssage_t& nsp_message, int msg_id)
{
int queue_id = get_queue_id();
int return_v = msgrcv(queue_id,&nsp_message,sizeof(nsp_message_rececive_t),msg_id,msgflg);
return return_v;
}
/*************************获取对应模块的消息队列ID******************************************/
int message_receive_t::get_queue_id(void)
{
int module_id = 0;
module_id = mod_if_get_current_module_id();
int queue_id = mod_if_get_msgque_id(module_id);
return queue_id;
}
/**************************获取对应模块的信号量队列ID*****************************************/
sem_t* message_receive_t::get_semaphore_id(MODULE_IDS module_id)
{
int id = 0;
id = mod_if_get_sem_id(module_id);
return reinterpret_cast(id) ;
}
/************************通知消息发送模块,消息处理完成。*******************************************/
void message_receive_t::send_ack_semaphore(void)
{
nsp_mssage_t& nsp_message = get_nsp_message_header();
int source_module = get_message_srcmodule(&nsp_message);
sem_t* source_semaphore_id = get_semaphore_id(static_cast(source_module));
sem_post(source_semaphore_id);
}
/************************构造函数******************************************/
deal_message_t::deal_message_t()
{
set_message_length(sizeof(void*));
}
/******************************消息处理*************************************/
void deal_message_t:: deal(nsp_mssage_t *message_buffer)
{
if(is_message_length_valid(message_buffer, message_length) == FALSE)
{
cout<<"deal_message_t:: deal::message length error::"<<typeid(*this).name()</************************设定目的模块值给源模块******************************************/
void deal_message_t::set_message_value(struct nsp_mssage_t * in_buffer, long double value)
{
set_mssage_fp64_text(in_buffer, value);
}
/*******************************设定目的模块值给源模块************************************/
void deal_message_t::set_message_value(struct nsp_mssage_t * in_buffer, int value)
{
set_mssage_int32_text(in_buffer,value);
}
/*******************************设定目的模块值给源模块************************************/
void deal_message_t::set_message_value(struct nsp_mssage_t * in_buffer, void* message, int message_size)
{
set_mssage_pointer_text( in_buffer,
message,
message_size);
}
/*****************************设定消息返回值**************************************/
void deal_message_t::set_message_return_value(struct nsp_mssage_t * in_buffer, int value)
{
set_message_ret_code(in_buffer, value);
}
/*****************************获取消息的值**************************************/
void deal_message_t::get_message_value(struct nsp_mssage_t * in_buffer, long double *out_value)
{
*out_value = get_mssage_fp64_text(in_buffer);
}
/*****************************获取消息值**************************************/
void deal_message_t::get_message_value(struct nsp_mssage_t * in_buffer, int *out_value)
{
*out_value = get_mssage_int32_text(in_buffer);
}
/****************************获取消息值**************************************/
void* deal_message_t::get_message_value(struct nsp_mssage_t * in_buffer)
{
int length = get_message_text_length(in_buffer);
void* message_buffer = NULL;
if(in_buffer->header.syn == syn_message_type)
{
message_buffer = get_mssage_text_address(in_buffer,length);
}else if(in_buffer->header.syn == asyn_message_type)
{
message_buffer = (void*)&in_buffer->msg_data.msg[0];
}
return message_buffer;
}
/*****************************获取消息长度**************************************/
int deal_message_t::get_message_data_length(struct nsp_mssage_t * in_buffer)
{
int length = get_message_text_length(in_buffer);
return length;
}
/********************设定消息长度***********************************************/
void deal_message_t::set_message_length(int length)
{
message_length = length;
}
/***************************获取消息长度****************************************/
int deal_message_t::get_message_length(void)
{
return message_length;
}
/*********************************判断消息长度是否合法**********************************/
int deal_message_t::is_message_length_valid(struct nsp_mssage_t * in_buffer,
const int standard_lenth)
{
int message_length = get_message_text_length(in_buffer);
if(message_length > standard_lenth)
{
return FALSE;
}else
{
return TRUE;
}
}
/****************************设定消息标志***************************************/
void set_message_flag(struct nsp_mssage_t *in_buffer, int flag)
{
in_buffer->header.flag = flag;
}
/*****************************设置消息为同步消息或者为异步消息**************************************/
void set_message_syn(struct nsp_mssage_t *in_buffer, int syn)
{
in_buffer->header.syn = syn;
}
/***************************设置消息的ID****************************************/
void set_message_id(struct nsp_mssage_t *in_buffer, int type)
{
in_buffer->header.msg_type = type;
}
/***************************设定消息返回值****************************************/
void set_message_ret_code(struct nsp_mssage_t *in_buffer, int ret_code)
{
in_buffer->header.ret_code = ret_code;
}
/************************设置目的模块的消息队列ID******************************************/
void set_message_destmodule(struct nsp_mssage_t *in_buffer, int destmodule)
{
in_buffer->header.destmodule = destmodule;
}
/************************设置源模块的消息队列ID******************************************/
void set_message_srcmodule(struct nsp_mssage_t *in_buffer, int srcmodule)
{
in_buffer->header.srcmodule = srcmodule;
}
/***************************:获取对应模块的消息队列ID****************************************/
int set_mssage_text(struct nsp_mssage_t *const in_buffer,
void const *text,
int in_buffer_length)
{
if(in_buffer == NULL)
{
return -1;
}
if(text == NULL)
{
return -1;
}
in_buffer->msg_data.ptext = const_cast<void *>(text);
}
/*************************将消息内容转换为long double类型******************************************/
int set_mssage_fp64_text(struct nsp_mssage_t *const in_buffer, long double data)
{
if(in_buffer == NULL)
{
return -1;
}
if(in_buffer->msg_data.ptext == NULL)
{
return -1;
}
long double *ptext = reinterpret_cast<long double *>(in_buffer->msg_data.ptext);
*ptext = data;
}
/**************************将消息内容转换为long double类型*****************************************/
int set_mssage_int32_text(struct nsp_mssage_t *const in_buffer, int data)
{
if(in_buffer == NULL)
{
return -1;
}
if(in_buffer->msg_data.ptext == NULL)
{
return -1;
}
int *ptext = reinterpret_cast<int *>(in_buffer->msg_data.ptext);
*ptext = data;
}
/****************************将消息内容转换为void *类型***************************************/
int set_mssage_pointer_text(struct nsp_mssage_t *const in_buffer,
void const *text,
int in_buffer_length)
{
if(in_buffer == NULL)
{
return -1;
}
if(in_buffer->msg_data.ptext == NULL)
{
return -1;
}
memcpy(in_buffer->msg_data.ptext, text, in_buffer_length);
}
/****************************消息数据的长度***************************************/
int set_message_data_length(nsp_mssage_t& in_buffer, int length)
{
in_buffer.header.data_length = length;
}
/*******************************************************************/
int get_message_flag(struct nsp_mssage_t *in_buffer)
{
return in_buffer->header.flag;
}
/*************************或许消息同步标致段******************************************/
int get_message_syn(struct nsp_mssage_t *header)
{
return header->header.syn;
}
/*************************获取消息类型******************************************/
int get_message_id(struct nsp_mssage_t *in_buffer)
{
return in_buffer->header.msg_type;
}
/*****************************获取返回值**************************************/
int get_message_ret_code(struct nsp_mssage_t *in_buffer)
{
return in_buffer->header.ret_code;
}
/************************获取源模块ID*******************************************/
int get_message_srcmodule(const struct nsp_mssage_t *in_buffer)
{
return in_buffer->header.srcmodule;
}
/***************************获取目的模块ID****************************************/
int get_message_destmodule(struct nsp_mssage_t *in_buffer)
{
return in_buffer->header.destmodule;
}
/***************************获取消息内容地址****************************************/
void* get_mssage_text_address(struct nsp_mssage_t *const in_buffer,
int out_buffer_length)
{
if(out_buffer_length < in_buffer->header.data_length)
{
return static_cast<void*>(NULL);
}
if(in_buffer->msg_data.ptext == NULL)
{
return static_cast<void*>(NULL);
}
void* out_buffer = in_buffer->msg_data.ptext;
return out_buffer;
}
/***************************获取 float 消息****************************************/
float get_mssage_fp64_text(struct nsp_mssage_t *const in_buffer)
{
if(in_buffer->msg_data.ptext == NULL)
{
return -1;
}
if(sizeof(void*) != in_buffer->header.data_length)
{
return -1;
}
float * ptext = (float *)in_buffer->msg_data.ptext;
return *ptext;
}
/****************************获取 int 消息***************************************/
int get_mssage_int32_text(struct nsp_mssage_t *const in_buffer)
{
if(in_buffer->msg_data.ptext == NULL)
{
return -1;
}
if(sizeof(void*) != in_buffer->header.data_length)
{
return -1;
}
int * ptext = (int *)in_buffer->msg_data.ptext;
return *ptext;
}
/**********************获取消息长度*********************************************/
int get_message_text_length(struct nsp_mssage_t *const in_buffer)
{
int data_length = in_buffer->header.data_length;
return data_length;
} message.h文件
#ifndef MESSAGE_H
#define MESSAGE_H
#if __cplusplus
/*******************************************************************
include file
*******************************************************************/
#include & message_id);
#endif
#endifmodule.cpp文件
#include module.h文件
#ifndef _MODULE_H_
#define _MODULE_H_
#include makefile文件
GG = g++
CPPFLAGES = -std=c++0x -pthread
CPPRCS := $(wildcard *.cpp)
OBJS := $(CPPRCS:%.cpp=%.o)
main: $(OBJS)
$(GG) $(CPPFLAGES) -o $@ $^
@echo $@
%.o: %.cpp
$(GG) $(CPPFLAGES) -c $< -o $@
@echo $@
.PHONY: clean
clean:
rm -rf *.o main