rocketMq实战(2)-客户端集成

阅读更多

rocketmq的配置和demo搞定后,离上线运用 还有很多问题要解决

如: 怎样集成 到项目中,并做到规范,易用。使用中有哪些问题是需要考虑的,监控运维问题怎么解决。

本文先解决 客户端集成,下面贴出我经过反复试验后的最终代码和配置。

 本文贴出的代码和配置都是经过反复测试和验证,并在实际项目中使用的,目前只使用几个重要的参数,更精细的配置请参考官方文档。

 pom.xml

  
  4.0.0
  rockmqtest
  rockmqtest
  0.0.1-SNAPSHOT
  	
		3.1.1.RELEASE
		1.7.13
	
  
    

    com.alibaba.rocketmq
    rocketmq-client
    3.5.8

	
	org.springframework
	 spring-context
	 3.1.1.RELEASE
	
	
	org.springframework
	 spring-test
	 3.1.1.RELEASE
	
	

    ch.ethz.ganymed
    ganymed-ssh2
    build209


    commons-lang
    commons-lang
    2.6


    com.jcraft
    jsch
    0.1.46


 
  	
			junit
			junit
			4.12
			test
		
 
    
        org.slf4j
        jcl-over-slf4j
        1.5.8
    
    
        org.slf4j
        slf4j-api
        1.5.8
    
    
        org.slf4j
        slf4j-log4j12
        1.5.8
    
    
        log4j
        log4j
        1.2.14
    
  
 

 

配置:

 




FirstGroupName

  
  


 






  
  
  
  
  
  
 
	
		 
		    
		    
		 
	




 

 客户端 实现要考虑,扩展性,易用性,性能,规范。并且要根据rocketMq的特性编写,下面就讲讲我的实现。

关键参数可配置,设计命名规范和接口规范。

同一个主题共用一个producer 不同主题不共用,防止发送速度快造成的性能问题。

同一个主题共用一个cousumer 不用的tag实现分发,预留接口给业务实现。

 

 

Producer客户端公共类

 

/**
 * defaultMQProducer装饰器
 * 封装易用的发送方法
 * @author chenchangqun
 *
 */
public class BestMQProducer  extends DefaultMQProducer{
	private String topic;
	
	 private static final Logger LOG = LoggerFactory.getLogger(BestMQConsumer.class);

	public BestMQProducer(String producerGroupName){
		super(producerGroupName);
		//默认参数设置
		
	}
	
	
	public void init(){
		try {
			super.start();
			
		} catch (MQClientException e) {
			LOG.error("rockmq producer start fail",e);
		}
	}
	/**
	 * 发送方法
	 * @author chenchangqun
	 * @param key
	 * @param content
	 * @return
	 */
	public boolean sendMsg(String tag,String key,String content){

	      Message msg=null;  // body
		try {
			msg = new Message(topic, // topic
					tag, // tag
					key, // key
					content.getBytes("UTF-8"));
		} catch (Exception e) {
			LOG.error("create message fail ,cannot send msg ,invoke end 。topic={},tag={},key={},content={}",topic,tag,key,content,e);
			return false;
		}
	      try {
	    	  //没有初始化,则初始化
	    	  if(this.defaultMQProducerImpl.getServiceState()==ServiceState.CREATE_JUST){
	    		  LOG.info("mqProducer should be start");
	    		  this.init();
	    	  }
	    	 LOG.debug("mq send param tag:{},key:{},content:{}",tag,key,content);
			SendResult sendResult = super.send(msg);
			LOG.debug("sendResult:{}",sendResult.getSendStatus().toString());
//			sendResult.getSendStatus()==SendStatus.
//		     System.out.println("sendResult:{}"+sendResult);
			return sendResult.getSendStatus()==SendStatus.SEND_OK;
		} catch (MQClientException e) {
			LOG.error("send fail",e);
		} catch (RemotingException e) {
			LOG.error("send fail",e);
		} catch (MQBrokerException e) {
			LOG.error("send fail",e);
		} catch (InterruptedException e) {
			LOG.error("send fail",e);
		}	  
	      return false;
	}

	public String getTopic() {
		return topic;
	}

	public void setTopic(String topic) {
		this.topic = topic;
	}


 
	 
}

 producer的实现有两点考虑 

 

(1)覆盖 父类的 start,方便以后在启动时加业务逻辑。

(2)提供规范的发送方法,参数 包含 tag,key,content,因为同一个produder的tocpic是确定的。剩下的参数需要传递。可否提供topic参数?我认为不应该,如果以后发送方法多了,直接传递topic会导致代码可读性差,耦合性高。也可能会导致性能问题。

 

Consumer客户端公共类

 

 

/**
 * mq单例工厂类,设置了一些默认参数
 * 
 * @author chenchangqun
 *
 */
public class BaseConsumer {
	private String nameServAddr;
 
   private static DefaultMQPushConsumer consumer ;
   private BaseConsumer() {
   }
   public static DefaultMQPushConsumer getDefaultMQPushConsumer(String consumerName){ 
	   
	   if(consumer==null){
		   consumer = new DefaultMQPushConsumer(consumerName);          
		   consumer.setMessageModel(MessageModel.CLUSTERING);
		   consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);
	   }

       return consumer;        
   }
   
   public String getNameServAddr() {
	return nameServAddr;
}
public void setNameServAddr(String nameServAddr) {
	this.nameServAddr = nameServAddr;
}
}

 

 

注意下面的部分

 

consumer.setMessageModel(MessageModel.CLUSTERING);

rocketMQ的重要特性就是支持集群消费,什么是集群消费,就是一个业务有多个实现,我们通常希望 其中一个实例消费成功后,其他实例就不要再消费了。而上述配置就是集群消费。

 

consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

先解释个思维误区:如果一个消息被我的应用成功消费,是不是这条消息就没用了,可以干掉或丢弃。 答案:不对,在broker来讲你只是其中一个订阅者,这条消息可能被其他消费者订阅,broker只能记录你的消费进度。

offset是重要的名称,标记消息位置

我怎么知道消费了多少,还有多少消息没消费?答案:broker没统计这个,只能通过offset相减计算,即目前生产的   offset减去last cosumet offset。

 

要从上次消费的位置开始消费,配置如上。

 

Consumer客户端公共类

写道
/**
* mq参数设置和初始化
* 创建监听器,并根据不同的TAG分发
* @author chenchangqun
*
*/
public class BestMQConsumer {
private static final Logger LOG = LoggerFactory.getLogger(BestMQConsumer.class);
private String topic;
private String tagExpr;
private String namesrvAddr;
private Map mqBusinessMap;
private String consumerGroupName;
//int count =0;
public void init(){
// 获取消息生产者
DefaultMQPushConsumer consumer = BaseConsumer.getDefaultMQPushConsumer(consumerGroupName);
// 订阅主体
try {
consumer.setNamesrvAddr(namesrvAddr);
consumer.subscribe(topic, tagExpr);
consumer.registerMessageListener( new MessageListenerConcurrently(){
//一次消费多条msg,如果第一条成功 第二条失败 返回 成功 失败?
@Override
public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) {
for(MessageExt msg:msgs){
if(msg.getTags()!=null){
IMQBusiness mqBusiness= mqBusinessMap.get(msg.getTags());
if(mqBusiness!=null){
if(!mqBusiness.invokeMessage(msg)){
LOG.error("cosume fail return RECONSUME_LATER");
return ConsumeConcurrentlyStatus.RECONSUME_LATER;
}
}


}
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;

}
}
);

/**
* Consumer对象在使用之前必须要调用start初始化,初始化一次即可

*/
consumer.start();
System.out.println("spring Consumer first Started.");
} catch (MQClientException e) {
LOG.error("cousumner init fail",e);
}
}
public void setTopic(String topic) {
this.topic = topic;
}
public void setTagExpr(String tagExpr) {
this.tagExpr = tagExpr;
}
public void setNamesrvAddr(String namesrvAddr) {
this.namesrvAddr = namesrvAddr;
}
public void setConsumerGroupName(String consumerGroupName) {
this.consumerGroupName = consumerGroupName;
}

public void setMqBusinessMap(Map mqBusinessMap) {
this.mqBusinessMap = mqBusinessMap;
}


}

 

接口类

 

/**
 *消费MQ的业务接口
 * @author chenchangqun
 *
 */
public interface IMQBusiness {

	public boolean invokeMessage(MessageExt msg);
	
	
}

 

 

接口实现类

 

public class MQBusinessTestAImpl implements IMQBusiness {
	@Override
	public boolean invokeMessage(MessageExt msg) {
		System.out.println(" invoke A rec:"+new String(msg.getBody()));
		return true;
	}
}

 

 

cousumer使用了PUSH的方式,即被动通知。实际上实现是用到了长连接。

上面的cousumer代码 主要有两个重点,一个缺陷

(1)经过测试如果不返回CONSUME_SUCCESS,则会一直重试。

(2)实现了基于tag的分发,方便业务自定义实现。

缺陷

    没有配置每次消费条数,使用默认每次消费一条,如果一次消费多条msg,如果第一条成功 第二条失败 返回 成功 失败?,这种情况还需要根据业务具体情况处理

 

注意看我的附件,里面包含完整的代码和测试类。而电子书中的文档是我费劲心血收集的,应该是目前比较好的rocketmq文档和学习资料。

 

 

 

 

 

  • rockmqtest.zip (41.3 KB)
  • 下载次数: 14
  • 电子书.zip (5.9 MB)
  • 下载次数: 14

你可能感兴趣的:(rocketmq客户端)