Hello World
RabbitMQ 接收处理和转发二进制blob数据
一些术语
- Producer：发送消息的程序
- Producing：发送消息
- Queue：消息缓冲器，暂存消息，在RabbitMQ中
- Consuming：等待接收消息
- Consumer：等待并接收消息的程序
使用amqp.node客户端
任务需求
- 安装RabbitMQ for Node模块（amqp.node）
- 编写消息发送程序
- 编写消息接收程序
- 运行测试代码
step1 安装客户端模块
npm install amqplib
发送
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost', function(err, conn){
// 创建一个频道，是大多数API所在的位置
conn.createChannel(function(err,ch){
var q = 'hello'; // 对列名
// 声明一个队列,该操作是幂等的，队列不存在才会创建
ch.assertQueue(q,{durable:false});
// 向队列发送消息，消息使用字节数组发送（Buffer）
ch.sendToQueue(q,new Buffer('Hello World'));
console.log('[x] Sent \'Hello World\'');
});
});
接收
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost', function(err, conn){
// 创建频道
conn.createChannel(function(err, ch){
var q = 'hello';
ch.assertQueue(q,{durable:false}); // 声明队列
// 注册监听
ch.consume(q, function(msg){
console.log('[x] Received%s ', msg.content.toString());
},{noAck:true});
});
});
Work Queues 工作队列
WorkQueue用于在多个Consumer之间分配耗时的任务。
实现思想
流程
将任务封装成消息并将其发送到队列，工作进程弹出任务并最终执行作业。
实现
MQ充当任务队列，Producer向MQ中发送任务，多个Consumer领取任务并执行。
Step 1 实现Producer 和 Consumer
Producer
Producer的代码
// new_task.js 每次启动后往队列中发送一条task
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err,ch){
var q = 'test_queue';
var msg = 'New Task!';
ch.assertQueue(q, {durable:true});
// 发送消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});
console.log('[x]Sent \'%s\'',msg);
});
});
Consumer
Consumer的代码
// worker.js模拟一个消费者，监听并接收MQ分配给自己的task。
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err, ch){
var q = 'test_queue';
ch.assertQueue(q, {durable:true});
// 监听MQ发送的消息，并在calback中处理
ch.consume(q, function(msg){
var secs = msg.content.toString().split('.').length -1;
console.log('[x] Received %s',msg.content.toString());
// 模拟处理时间
setTimeout(function(){
console.log('[x] Done');
},secs * 1000);
},{noAck: true});
});
});
启动步骤
- 打开多个控制台，启动多个worker.js。
- 启动多次new_task.js，向MQ中发送多条信息。
结果：每个worker依次接收到任务并打印。
默认情况下，RabbitMQ将按顺序将每条消息发送给下一个消费者。
平均而言，每个消费者将获得相同数量的消息。这种分发消息的方式称为循环法。
问题：在实际应用中，上述程序存在一些问题
- 每个任务都会消耗一定的时间，这个时间是不确定的。
- 上面的程序中，当worker领取任务后，消息便会从MQ中弹出，不论是否执行成功。若执行失败，则任务丢失。
解决方案：使用消息确认解决。
Step 2 使用消息确认机制
为了确保消息永不丢失，RabbitMQ支持消息确认
消费者发回ack（acknowledgement）告诉RabbitMQ已收到，处理了特定消息，RabbitMQ可以自由删除它。
如果Consumer死亡（其通道关闭，连接关闭或TCP连接丢失）而不发送ack，RabbitMQ会将该消息重新排队。如果其他消费者同时在线，则会迅速将其重新发送给其他消费者。这样就可以确保没有消息丢失，即使Consumer偶尔会死亡。
实现原理
使用consume方法的noAck属性，将其设置成false开启消息确认。
然后调用Chanel.ack(MSG)方法应答MQ
代码如下
ch.consume(q, function(msg){
// ...do something sync
setTimeout(function(){
// ...do something async
ch.ack(MSG) // 发送ack
},1000);
},{noAck: true}); // 开启ack
注意：确认必须在收到的交付的同一信道上发送。尝试使用不同的通道进行确认将导致通道级协议异常。
Step3 消息持久化
当RabbitMQ退出或崩溃时，它将丢失队列和消息。要确保消息不会丢失，我们需要将队列和消息都标记为持久。
开启队列的持久化
// 声明队列时，设置durable属性为true开启队列持久化
ch.assertQueue('hello', {durable: true});
开启消息的持久化
// 发送消息时，设置persistent属性为true，让RabbitMQ持久化当前消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});
有关消息持久化的注意事项
注意：将消息标记为持久性并不能完全保证消息不会丢失。虽然它告诉RabbitMQ将消息保存到磁盘，但是当RabbitMQ接受消息并且尚未保存消息时，仍然有一个短时间窗口期。如果需要更强的保证，那么可以使用 发布者确认。
Step4 公平派遣任务
问题
平均依次分配任务不能保证每个worker接收到相同分量的任务。当出现一些任务很重，另一些很轻时，经常会出现一个worker将经常忙碌而另一个worker经常空闲。
解决方案
使用prefetch方法控制worker同时最多接收的任务数量。当worker待处理的任务达到最大数量时，MQ不会向其发送新任务，而是会向空闲的worker发送新任务。使用这种机制可以达到负载均衡的效果。
Consumer（Worker）的代码
// ...imports
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err,ch){
var q = 'task_queue';
ch.prefetch(1); // 当有一个任务未完成时，不再接受新任务
ch.consume(q,function(msg){
// ...do something
setTimeout(()=>{
// ...do something async
ch.ack(MSG); // 确认执行完毕
},1000);
},{noAck:false});
});
});