感谢gogoplayer提供的思路。
事情的经过是这样的:几天前gogoplayer跟我提到想用引用计数来解决消息广播时拷贝多份的问题,顺带提到boost::shared_ptr的引用计数是线程安全的。这一点跟我的记忆有出入,于是查boost的手册确认了一下,发现从1.33.0开始shared_ptr就用了lock-free来实现线程安全,相当高效。
于是就想把原本的NetMessage队列改为shared_ptr<NetMessage>队列。这时回顾之前的实现方式,发现存在内存动态分配次数过多的问题:
NetMessage中的内容是保存在vector中的,写入数据至少会造成一次动态内存分配;
把NetMessage添加到NetMessage队列的尾部,又会造成第二次动态内存分配;
如果改用share_ptr,shared_ptr需要通过new出来的指针初始化,造成第三次分配;
shared_ptr本身的引用计数对象造成第四次动态内存分配。(这一点可以通过boost提供的make_shared来消除)
所以发送一条网络消息至少会造成三次动态内存分配和回收操作。而大部分网络消息往往只有十几个字节,即使用了tcmalloc之类的内存池,还是相当蛋疼。
解决方案:
NetMessage根据其内容的长度,分别采用数组和shared_ptr<vector<char> >的策略来存储数据,如果数据量少,则用内部数组,如果数据量大或者需要共享(如广播的情况),则初始化vector来存储。
NetMessage的拷贝,如果数据量少,则只是几个字节的内存拷贝,如果数据量大,只是复制智能指针。两种情况都相当轻量。
动态存储内容的NetMessage,用了copy on write手法以保证线程安全和正确性。
NetMessage的队列改成用vector来实现,因vector预留历史最大分配内存的特性,可以避免频繁的内存分配。
此外,给NetMessage类新增了一些兼容stl的接口,用以适配stl算法。