消息队列在项目中的使用（memcacheq）

什么是消息队列？

消息队列提供了一种从一个进程向另一个进程发送一个数据块的方法。 每个数据块都被认为含有一个类型，接收进程可以独立地接收含有不同类型的数据结构。我们可以通过发送消息来避免命名管道的同步和阻塞问题。但是消息队列与命名管道一样，每个数据块都有一个最大长度的限制。“消息队列”是在消息的传输过程中保存消息的容器。消息队列把消息按照产生的次序加入队列，而由另外的处理程序/模块将其从队列中取出，并加以处理；从而形成了一个消息队列。消息队列就是一个消息的链表。可以把消息看作一个记录，具有特定的格式以及特定的优先级。对消息队列有写权限的进程可以向消息队列中按照一定的规则添加新消息；对消息队列有读权限的进程则可以从消息队列中读走消息。消息队列是随内核持续的。

消息队列的特点：

1. 解耦

在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

2. 冗余

有时在处理数据的时候处理过程会失败。除非数据被持久化，否则将永远丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。在被许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理过程明确的指出该消息已经被处理完毕，确保你的数据被安全的保存直到你使用完毕。

3. 扩展性

因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的；只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

4. 灵活性 & 峰值处理能力

当你的应用上了Hacker News的首页，你将发现访问流量攀升到一个不同寻常的水平。在访问量剧增的情况下，你的应用仍然需要继续发挥作用，但是这样的突发流量并不常见；如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住增长的访问压力，而不是因为超出负荷的请求而完全崩溃。请查看我们关于峰值处理能力的博客文章了解更多此方面的信息。

5. 可恢复性

当体系的一部分组件失效，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。而这种允许重试或者延后处理请求的能力通常是造就一个略感不便的用户和一个沮丧透顶的用户之间的区别。

6. 送达保证

消息队列提供的冗余机制保证了消息能被实际的处理，只要一个进程读取了该队列即可。在此基础上，IronMQ提供了一个"只送达一次"保证。无论有多少进程在从队列中领取数据，每一个消息只能被处理一次。这之所以成为可能，是因为获取一个消息只是"预定"了这个消息，暂时把它移出了队列。除非客户端明确的表示已经处理完了这个消息，否则这个消息会被放回队列中去，在一段可配置的时间之后可再次被处理。

7.排序保证

在许多情况下，数据处理的顺序都很重要。消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。IronMO保证消息浆糊通过FIFO（先进先出）的顺序来处理，因此消息在队列中的位置就是从队列中检索他们的位置。

8.缓冲

在任何重要的系统中，都会有需要不同的处理时间的元素。例如,加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行--写入队列的处理会尽可能的快速，而不受从队列读的预备处理的约束。该缓冲有助于控制和优化数据流经过系统的速度。

9. 理解数据流

在一个分布式系统里，要得到一个关于用户操作会用多长时间及其原因的总体印象，是个巨大的挑战。消息系列通过消息被处理的频率，来方便的辅助确定那些表现不佳的处理过程或领域，这些地方的数据流都不够优化。

10. 异步通信

很多时候，你不想也不需要立即处理消息。消息队列提供了异步处理机制，允许你把一个消息放入队列，但并不立即处理它。你想向队列中放入多少消息就放多少，然后在你乐意的时候再去处理它们。

 

什么是memcacheq?

       Memcacheq是一个基于memcacheq协议、BDB持久数据存储、高性能轻量级队列服务程序。q是queue的意思，是一个列队。

Libevent:

Libevent 是一个用C语言编写的、轻量级的开源高性能网络库，主要有以下几个亮点：事件驱动（event-driven），高性能;轻量级，专注于网络，不如 ACE 那么臃肿庞大；源代码相当精炼、易读；跨平台，支持 Windows、Linux、 *BSD 和 MacOs；支持多种 I/O 多路复用技术， epoll、poll、 dev/poll、 select 和 kqueue 等；支持 I/O，定时器和信号等事件；注册事件优先级。

 Libevent 已经被广泛的应用，作为底层的网络库；比如memcached、 Vomit、 Nylon、 Netchat等等。

Memcacheq的特点：

1.    简单高效，基于memcache协议，这意味着只要客户端支持memcache协议即可使用。

2.    队列数据存储与BDB，持久保存。

3.    并发性能好。

4.    支持多条队列。

Memcacheq依赖于Brekeley DB和libevent。Berkeley DB 用于持久化存储队列的数据，避免在memcacheq崩溃或这服务器当掉时候，不至于数据丢失。对于并发量较高的web环境，特别是数据库写入操作过多的情景，使用队列可大大缓解因并发问题造成的数据库锁死问题。

Memcacheq的最大优势是：它是基于memcached开发的，可以通过各种memcached命令对它进行操作。基于memcached开发的应用完全不需要做任何修改。

Memacheq实现消息队列

在处理业务逻辑时有可能遇到高并发问题，例如商城秒杀、微博评论等。如果不做任何措施可能在高瞬间造成服务器瘫痪，如何解决这个问题呢？队列是个不错的选择。队列（Queue）又称先进先出（First In First Out）利用消息队列可以很好地异步处理数据传送和存储，当你向数据库中写入数据就可采取消息队列来异步插入。只要有并发限制的地方基本都可以使用队列来解决。这里先重点介绍一下memcacheq。

    持久化消息队列memcacheq是一个轻量级的消息队列。依附于Berkeley DB和libevent。Berkeley DB用于持久化存储队列的数据，避免在memcacheq出问题时造成数据丧失。接下来看一下安装过程，首先下载libevent-1.4X***、BerkeleyDB5.0、memcacheq-0.2.0，下载地址：

    http://monkey.org/~provos/libevent/

    http://download.oracle.com/berkeley-db/db-5.0.21.tar.gz

    http://code.google.com/p/memcacheq/downloads/list

安装步骤：

   MemcacheQ 的安装与使用

1、安装libevent

官网：http://www.libevent.org/

$ wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz--no-check-certificate

$ tar -zxvf libevent-2.0.21-stable.tar.gz

$ cd libevent-2.0.21-stable

$ ./configure --prefix=/usr/local/libevent

$ sudo make && make install

2、安装 BerkeleyDB

官网：http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html（下载需要登录）

安装：

$ wget http://download.oracle.com/berkeley-db/db-6.0.30.tar.gz

$ tar -zxvf db-6.0.30.tar.gz (根据自身的情况解压到目录)

$ cd db-6.0.30/build_unix

$ ../dist/configure --prefix=/usr/local/berkeleyDB

$ sudo make && make install

安装完成之后：

$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/libevent/lib:/usr/local/berkeleyDB/lib

或者：

$ vim /etc/ld.so.conf

添加：

/usr/local/libevent/lib

/usr/local/berkeleyDB/lib

并执行：

$ /sbin/ldconfig

3、安装 MemcacheQ

官网：http://memcachedb.org/memcacheq/

$ wget https://memcacheq.googlecode.com/files/memcacheq-0.2.0.tar.gz

$ tar -zxvf memcacheq-0.2.0.tar.gz

$ cd memcacheq-0.2.0

$ ./configure --prefix=/usr/local/memcacheq--enable-threads --with-libevent=/usr/local/libevent --with-bdb=/usr/local/berkeleyDB

$ sudo make && make install

测试是否安装成功：

/usr/local/memcacheq/bin/memcacheq-h

4、启动服务

建立相关目录：

mkdir -p 755 /var/memcacheq/logs/

mkdir -p 755 /var/memcacheq/data/

启动服务：

/usr/local/memcacheq/bin/memcacheq-d -r -uroot -p11212 -H /var/memcacheq/data -N -R -v -L 1024 -B 1024 > /var/memcacheq/logs/mq_error.log2>&1

参数说明：

-d : 以后台服务方式运行
-l : 设置监听地址及端口（默认是22201）
-A : 数据页大小
-H : 数据保存目录
-B : 队列中每条数据的最大长度（字节）
-N : 使用内存缓冲方式保存数据至磁盘，从而获得极高性能。若无此参数，性能会很差
-R : 自动清理过期的日志
-u : 设置memcacheq进程账号
-L ：日志缓存大小（默认是32K，1024表示1024K）

添加到开机启动：

vim /etc/rc.local

添加：

/usr/local/memcacheq/bin/memcacheq -d -r-uroot -p11212 -H /var/memcacheq/data -N -R -v -L 1024 -B 1024 > /var/memcacheq/logs/mq_error.log2>&1

5、使用 PHP 连接

   $memcache_obj = new Memcache;

   $memcache_obj->connect('127.0.0.1', 11212);

   $memcache_obj->set('pushtask','38a7d8a504d69d1e2ac843b5804c04',0,0);

   $memcache_obj->close();

?>

 

   $memcache_obj = new Memcache;

   $memcache_obj->connect('127.0.0.1', 11212);

   $task = $memcache_obj->get('pushtask');

   //do your task here

   ...

   $memcache_obj->close();

?>

6、使用命令行连接

连接：

telnet 127.0.0.1 11212

添加：

格式：

 

set 0

STORED

 

示例：

 

set test_queue 0 0 6

abcdef

STORED

获取：

格式：

 

get

VALUE

END

 

示例：

 

get test_queue

VALUE test_queue 0 13

first_message

END

查看队列：

stats queue

STAT test_queue 20/10    #表示队列test_queue里面有20条信息,读取了10条

END

删除整个队列：

格式：

delete

 

示例：

delete test_queue

DELETED

 

参考网站

http://blog.csdn.net/adminwangyaofeng/article/details/52902524