让后端服务器支持memcached协议

 

由于原先的appserver功能不断增多，最近又增了两个功能，需要不断从后端memcached中提取数据并进行计算，由于提取数据量大且频繁，导致效率很低，粗测了一下，获取数据和格式化等操作花了90%以上的时间，由此设想将memcached改写或重写一个支持memcached的服务器，将计算功能和memcached做到一起，让获取数据的路径最短，也就最大限度减少了数据传输和格式化等操作，就是类似存储过程一样啦，这部分可以考虑使用插件来实现，甚至可考虑使用脚本语言来实现。

网上搜了一下，果然发现早有人这么干了，正所谓英雄所见啊，呵呵。具体方法倒很多，自定义key命名，根据特殊key在get、set、replace上做特殊操作，或者根据命令中的flag等做特殊处理，或者扩充stat命令等，都是可以的，我们暂时就考虑修改特殊的键值做特殊处理。

要做一个完备的既支持ascii命令又支持binary命令的兼容memcached还是有一点点麻烦的，我暂时也没有太多需求，所以就仅支持了ascii命令，其实也是考虑支持ascii的客户端更多，各种语言的支持mc的客户端数不胜数，但大多只支持ascii命令。由于我之前为了测试服务器框架效率，做过一个支持ascii命令的memcached兼容版本，因此拿过来直接使用太方便了，这个版本的实现其实很容易，如果有一个较好的框架代码的话基本上在一天之内可做完，当然要做到很好可能需要多花一些时间，我现在做的也不是特好，要完全取代memcached使用还是有些差距，主要是一些过期机制等没完全实现，虽然速度上比标准mc版本还要快一点，呵呵，因为暂时的确是不需要这些过期机制，所以也没打算这个版本实现，其他功能基本上都有。

以后准备将这个memcached解码部分作为一个单独的解析器，和支持其他协议一样，换上这个解析那就支持mc协议了，还是很方便的，以后有空还是要做个支持binary协议的，以便可以更高效的解决问题。

想到server能支持Memcached协议真是好啊，客户端基本只要用个libmemcached就好了，多服务器分布，容错，多份数据啥的都有现成的解决方案，只要把server做稳定了就基本ok了，对咱这种小团队来说再合适不过了，节省了很多开发维护成本啊，现在内存这么便宜，部署几个点实在是很easy的问题。

 

 

Posted on 2011-01-23 17:13 袁斌 阅读(1760) 评论(1)   编辑  收藏 引用 所属分类: c++