把这两天做Proactor的一些经验和心得写一下,可能会给一些人帮助。
Proactor是异步模式的网络处理器,ACE中叫做“前摄器”。
先讲几个概念:
前摄器(Proactor)-异步的事件多路分离器、处理器,是核心处理类。启动后由3个线程组成(你不需要关心这三个线程,我只是让你知道一下有这回事存在)。
接受器(Acceptor)-用于服务端,监听在一个端口上,接受用户的请求。
连接器(Connector)-用于客户端,去连接远程的监听。当然,如果远程是ACE写的,就是Acceptor。
异步模式-即非阻塞模式。网络的传输速度一般来讲为10Mbps、100Mbps、1000Mbps。拿千兆网来说,实际的传输速度为 1000Mbps/8大概为128KB左右。我们的CPU一般为P4 3.0GHZ,如果是32位的处理器,一秒钟大概可以处理6G的字节,那么,128KB的网络速度是远远及不上处理器的速度的。网络发送数据是一位一位发 送出去的,如果CPU等在这里,发送完成函数才结束,那么,处理器浪费了大量时间在网络传输上。
操作系统提供了异步的模式来传输网络数 据,工作模式即:应用程序把要发送的数据交给操作系统,操作系统把数据放在系统缓冲区后就告诉应用程序OK了,我帮你发,应用程序该干嘛干嘛去。操作系统 发送完成后,会给应用系统一个回执,告诉应用程序:刚才那个包发送完成了!
举个例子:你有几封邮件和包裹要发,最有效率的办法是什么?你把邮件和包裹及交给总台,总台MM说,好了,你帮你发,你忙去吧!然后你去工作了。过了一 会,总台MM打电话告诉你:“刚才我叫快递公司的人来了,把你的包裹发出去了。邮局的人也来了,取走了邮件,放心好了”。同样,如果你知道今天会有包裹 来,比如你在淘宝上购物了,你能成天等在总台?你应该告诉总台MM:“今天可能有我的一个快递,你帮我收一下,晚上请你肯德基!”。MM:“看在肯得基的 面子上,帮你收了”。某个时间,MM打电话来了:“帅哥,你的包裹到了,我帮你签收了,快来拿吧。”
因为操作系统是很有效率的,所有,他在后台收发是很快的。应用程序也很简单。Proactor就是这种异步模式的。Proactor就是总台MM;ACE_Service_Handle就是总台代为收发邮件的公司流程。
我们看一个实例:
//***********************************************************
class TPTCPAsynchServerImpl : public ACE_Service_Handler
{
public:
TPTCPAsynchServerImpl(void);
~TPTCPAsynchServerImpl(void);
virtual void open (ACE_HANDLE handle, ACE_Message_Block &message_block);
virtual void handle_read_stream (const ACE_Asynch_Read_Stream::Result &result);
virtual void handle_write_stream (const ACE_Asynch_Write_Stream::Result &result);
virtual void handle_time_out (const ACE_Time_Value &tv, const void *act=0);
private:
int initiate_read_stream (const ACE_Asynch_Read_Stream::Result &result);
ACE_Asynch_Read_Stream rs_;
ACE_Asynch_Write_Stream ws_;
};
这个例子从ACE_Service_Handler继承过来,ACE_Service_Handle主要就是定义了一些回调函数。
1、 virtual void open (ACE_HANDLE handle, ACE_Message_Block &message_block);
当有客户端连接上来,连接建立成功后Proactor会调用这个方法。
2、 virtual void handle_read_stream (const ACE_Asynch_Read_Stream::Result &result);
当用户要读的数据读好了后,调用这个方法
3、virtual void handle_write_stream (const ACE_Asynch_Write_Stream::Result &result);
当用户要写的数据在网卡上发送成功后,Proactor会回调这个方法
4、 virtual void handle_time_out (const ACE_Time_Value &tv, const void *act=0);
当用户设定的时钟到期了,这个方法会被调用。
这跟和总台MM的联络方法是不是一样的?
对还缺点东西,缺少怎么向总台MM交待任务的方法。下面看看:
首先,创建一个监听器。
ACE_Asynch_Acceptor acceptor_;
看到没,就是我们刚才写的类,因为他继承了回调接口,并实现了自已的代码,模板中ACE_Asynch_Acceptor会在合适的时候回调这些方法。
//创建一个地址对象
ACE_INET_Addr addr(port, ip);
acceptor_.open (addr, 8 * 1024, 1);
Open后,就开始监听了。其它的,向Proactor注册一些事件的事模板类中都替你做了,你不需要做很多事。
那么,已经开始监听了,我的程序从哪里开始呢?对于一个服务程序来讲,程序是被用户的连接驱动的,一个用户程序想和通讯,必须先创建连接,就是 Socket中的connect操作。这个操作Proactor会替我们做一些工作,当连接创建完成后,上面讲的Open方法会被调用,我们看看Open 方法中都有些什么代码:
void TPTCPAsynchServerImpl::open (ACE_HANDLE handle, ACE_Message_Block &message_block)
{
ACE_DEBUG ((LM_DEBUG, "%N:%l:TPTCPAsynchServerImpl::open()... "));
//构造读流
if (rs_.open (*this, handle) == -1)
{
ACE_ERROR ((LM_ERROR, "%N:%l: ", "TPTCPAsynchServerImpl::open() Error"));
return;
}
//构造写流
if (ws_.open(*this, handle) == -1)
{
ACE_ERROR ((LM_ERROR, "%N:%l: ", "TPTCPAsynchServerImpl::open() Error"));
return;
}
//获取客户端连接地址和端口
ACE_INET_Addr addr;
ACE_SOCK_SEQPACK_Association ass=ACE_SOCK_SEQPACK_Association(handle);
size_t addr_size=1;
ass.get_local_addrs(&addr,addr_size);
this->server_->onClientConnect((int)handle, addr.get_ip_address(), addr.get_port_number());
//如果客户连接时同时提交了数据,需要伪造一个结果,然后呼叫读事件
if (message_block.length () != 0)
{
// ACE_DEBUG((LM_DEBUG, "message_block.length() != 0 "));
// 复制消息块
ACE_Message_Block &duplicate = *message_block.duplicate ();
// 伪造读结果,以便进行读完成回调
ACE_Asynch_Read_Stream_Result_Impl *fake_result =
ACE_Proactor::instance ()->create_asynch_read_stream_result (this->proxy (),
this->handle_,
duplicate,
1024,
0,
ACE_INVALID_HANDLE,
0,
0);
size_t bytes_transferred = message_block.length ();
// Accept事件处理完成,wr_ptr指针会被向前移动,将其移动到开始位置
duplicate.wr_ptr (duplicate.wr_ptr () - bytes_transferred);
// 这个方法将调用回调函数
fake_result->complete (message_block.length (), 1, 0);
// 销毁伪造的读结果
delete fake_result;
}
// 否则,通知底层,准备读取用户数据
//创建一个消息块。这个消息块将用于从套接字中异步读
ACE_Message_Block *mb = 0;
ACE_NEW (mb, ACE_Message_Block (_bufSize));
if (rs_.read (*mb, mb->size () - 1) == -1)
{
delete mb;
ACE_ERROR ((LM_ERROR, "%N:%l:open init read failed!"));
return;
}
}
我们看到,首先创建了两个流,就是前面类定义中定义的一个异步写流,一个异步读流。以后对网络的读和写就通过这两个流进行。我还给出了一段读客户端地址和端口的代码。然后是读取客户Connect可能附带的数据,那段代码不用看懂,以后使用照抄就行。然后就是
if (rs_.read (*mb, mb->size () - 1) == -1)
{
delete mb;
ACE_ERROR ((LM_ERROR, "%N:%l:open init read failed!"));
return;
}
这段代码使用读流读一段数据。这段代码就是向总台MM交待:我要收包裹,收好了叫我!
也就是说,这段代码99%的可能是读不出数据的,只是向Proactor注册读的事件,具体的等待、读取操作由Proactor读,读到了,就回调Handle_Read_Stream方法。ACE_Message_Block是消息块,数据就是存放在消息块中的。
下面看看Handle_Read_Stream方法的代码:
void TPTCPAsynchServerImpl::handle_read_stream (const ACE_Asynch_Read_Stream::Result &result)
{
result.message_block ().rd_ptr ()[result.bytes_transferred ()] = '/0';
ACE_DEBUG ((LM_DEBUG, "********************/n"));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "bytes_to_read", result.bytes_to_read ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "handle", result.handle ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "bytes_transfered", result.bytes_transferred ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "act", (u_long) result.act ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "success", result.success ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "completion_key", (u_long) result.completion_key ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d/n", "error", result.error ()));
ACE_DEBUG ((LM_DEBUG, "********************/n"));
result.message_block().release();
if (this->initiate_read_stream (result) == -1)
{
ACE_ERROR((LM_ERROR, "%N:%l:read stream failed!connection closed, remove it:%d/n", result.handle()));
closeConnection(result.handle());
}
}
这 个函数被调用,就表明有数据已经读好了,包裹已经在总台了。Proactor比总台MM还好,给你送上门了,数据就在Result里,上面演示了 Result中的数据。然后把消息块释放了,然后调用initiate_read_stream继续监听网络上可能到来的数据。看看 initiate_read_stream好了:
int TPTCPAsynchServerImpl::initiate_read_stream (const ACE_Asynch_Read_Stream::Result &result)
{
ACE_DEBUG((LM_TRACE, "%N:%l:TPTCPAsynchServerImpl::initiate_read_stream() "));
//创建一个消息块。这个消息块将用于从套接字中异步读
ACE_Message_Block *mb = new ACE_Message_Block(_bufSize);
if (mb == NULL)
{
ACE_DEBUG((LM_ERROR, "%N:%l:can't allock ACE_Message_Block. "));
return -1;
}
if (rs_.read (*mb, mb->size () - 1) == -1)
{
delete mb;
ACE_ERROR_RETURN ((LM_ERROR, "%N:%l:rs->read() failed, clientID=%d ", result.handle()), -1);
}
return 0;
}
代码很简单,就是创建一个新的消息块,然后使用读流注册一个读消息就可以了。
到此为止,Proactor的读流程很清楚了吧?
下面再说一个写流程。
写流程其实更简单,在任意想向客户端写数据的地方,调用相应代码就行了,比如,我们提供了SendData方法来发送数据,在任意想发送数据的地方调用SendData就行了,SendData的代码如下:
int TPTCPAsynchServerImpl::sendData(int clientID, const char *data, int dataLen, unsigned int &id)
{
ACE_DEBUG((LM_DEBUG, "TPTCPAsynchServerImpl::sendData(void) "));
ACE_Message_Block *mb;
ACE_NEW_RETURN(mb, ACE_Message_Block(dataLen + 1), -1);
mb->wr_ptr((char*)data);
ACE_OS::memcpy(mb->base(),(char*)data, dataLen);
id = GlobleSingleton::instance()->getIndex();
mb->msg_type((int)id);
//向操作系统发送数据
if (connection->ws->write (*mb , dataLen ) == -1)
{
ACE_ERROR_RETURN((LM_ERROR, "%N:%l:sendData failed! clientID=%d ", clientID),-1);
}
return 0;
}
简单说,就是创建了一个消息块,把用户数据拷贝进来,然后调用写流WS向Proactor发送一个Write事件就可以了,发送成功后,Handle_write_handle会被调用,看一下:
void
TPTCPAsynchServerImpl::handle_write_stream (const ACE_Asynch_Write_Stream::Result &result)
{
ACE_DEBUG ((LM_DEBUG,
"handle_write_stream called "));
// Reset pointers.
result.message_block ().rd_ptr (result.message_block ().rd_ptr () - result.bytes_transferred ());
ACE_DEBUG ((LM_DEBUG, "******************** "));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "bytes_to_write", result.bytes_to_write ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "handle", result.handle ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "bytes_transfered", result.bytes_transferred ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "act", (u_long) result.act ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "success", result.success ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "completion_key", (u_long) result.completion_key ()));
ACE_DEBUG ((LM_DEBUG, "%s = %d ", "error", result.error ()));
ACE_DEBUG ((LM_DEBUG, "******************** "));
#if 0
ACE_DEBUG ((LM_DEBUG, "%s = %s ", "message_block", result.message_block ().rd_ptr ()));
#endif
// Release message block.
result.message_block ().release ();
}
代码中使用了result中发数据,然后把消息块释放了,就这么简单。
这是简单的proactor用法,当然,复杂也基本就这样用。所谓不基本的不是Proactor的内容,而是服务器编程本身的麻烦。比如说,多个连接的管理、重发机制、发送队列等等,这都不是ACE的内容。这些要大家自己思考了,并添加。
在 这里,我要说几个重要的问题:连接的管理。Acceptor是一个类,但是在每一个连接,Proactor都用了某种办法创建了一个实例,所以,连接管理 的群集类一定不能在Acceptor类中,不然得到的结果就是始终只有一条记录。因为每个Acceptor都有一个实例,实例对应一个连接,群集类也就每 个实例一个了。要采取的方法是一个全局的容器对象就可以了。比如我这个类:
typedef ACE_Map_Manager
ConnectionMap;
typedef ACE_Map_Iterator ConnectionIterator;
typedef ACE_Map_Entry ConnectionEntry;
class Globle
{
public:
Globle(void);
~Globle(void);
ITPServer* server_;
ConnectionMap _connections;
unsigned getIndex(void);
long getTimerId(void);
private:
unsigned int index_;
long timerId_;
};
typedef ACE_Singleton GlobleSingleton;
我使用ACE的Singleton模板创建这个类,每一个Acceptor要使用ConnectionMap,都使用这里的_connections,方法如下 :
GlobleSingleton::instance()->connection.bind()......
这个问题可是我花费了2天时间找出来的,诸位同仁不可不戒啊,给点掌声:)