RabbitMQ for Node 官方文档笔录

Step 1 实现Producer 和 Consumer

Producer
Producer的代码

// new_task.js 每次启动后往队列中发送一条task
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err,ch){
        var q = 'test_queue';
        var msg = 'New Task!';
        ch.assertQueue(q, {durable:true});
        // 发送消息
        ch.sendToQueue(q, new Buffer(msg), {persistent: true});
        console.log('[x]Sent \'%s\'',msg);
    }); 
});

Consumer
Consumer的代码

// worker.js模拟一个消费者，监听并接收MQ分配给自己的task。
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err, ch){
        var q = 'test_queue';
        ch.assertQueue(q, {durable:true});
        // 监听MQ发送的消息，并在calback中处理
        ch.consume(q, function(msg){
            var secs = msg.content.toString().split('.').length -1;
            console.log('[x] Received %s',msg.content.toString());
            // 模拟处理时间
            setTimeout(function(){
                console.log('[x] Done');
            },secs * 1000);
        },{noAck: true});
    });
});

启动步骤

打开多个控制台，启动多个worker.js。
启动多次new_task.js，向MQ中发送多条信息。

结果：每个worker依次接收到任务并打印。

默认情况下，RabbitMQ将按顺序将每条消息发送给下一个消费者。
平均而言，每个消费者将获得相同数量的消息。这种分发消息的方式称为循环法。

问题：在实际应用中，上述程序存在一些问题

每个任务都会消耗一定的时间，这个时间是不确定的。
上面的程序中，当worker领取任务后，消息便会从MQ中弹出，不论是否执行成功。若执行失败，则任务丢失。

解决方案：使用消息确认解决。

Step 2 使用消息确认机制
为了确保消息永不丢失，RabbitMQ支持消息确认

消费者发回ack（acknowledgement）告诉RabbitMQ已收到，处理了特定消息，RabbitMQ可以自由删除它。
如果Consumer死亡（其通道关闭，连接关闭或TCP连接丢失）而不发送ack，RabbitMQ会将该消息重新排队。如果其他消费者同时在线，则会迅速将其重新发送给其他消费者。这样就可以确保没有消息丢失，即使Consumer偶尔会死亡。

实现原理

• 使用consume方法的noAck属性，将其设置成false开启消息确认。
  然后调用Chanel.ack(MSG)方法应答MQ

代码如下
ch.consume(q, function(msg){ 
    // ...do something sync
    setTimeout(function(){
        // ...do something async
        ch.ack(MSG) // 发送ack
    },1000);
 },{noAck: true}); // 开启ack

注意：确认必须在收到的交付的同一信道上发送。尝试使用不同的通道进行确认将导致通道级协议异常。

Step3 消息持久化

• 当RabbitMQ退出或崩溃时，它将丢失队列和消息。要确保消息不会丢失，我们需要将队列和消息都标记为持久。
  开启队列的持久化

// 声明队列时，设置durable属性为true开启队列持久化
ch.assertQueue('hello', {durable: true}); 

开启消息的持久化
// 发送消息时，设置persistent属性为true，让RabbitMQ持久化当前消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});

有关消息持久化的注意事项

注意：将消息标记为持久性并不能完全保证消息不会丢失。虽然它告诉RabbitMQ将消息保存到磁盘，但是当RabbitMQ接受消息并且尚未保存消息时，仍然有一个短时间窗口期。如果需要更强的保证，那么可以使用 发布者确认。

Step4 公平派遣任务
问题

• 平均依次分配任务不能保证每个worker接收到相同分量的任务。当出现一些任务很重，另一些很轻时，经常会出现一个worker将经常忙碌而另一个worker经常空闲。

• 解决方案

• 使用prefetch方法控制worker同时最多接收的任务数量。当worker待处理的任务达到最大数量时，MQ不会向其发送新任务，而是会向空闲的worker发送新任务。使用这种机制可以达到负载均衡的效果。

Consumer（Worker）的代码
// ...imports
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err,ch){
        var q = 'task_queue';
        ch.prefetch(1); // 当有一个任务未完成时，不再接受新任务
        ch.consume(q,function(msg){
            // ...do something 
            setTimeout(()=>{
                // ...do something async
                 ch.ack(MSG); // 确认执行完毕
            },1000);
        },{noAck:false});
    });
});