spring+activemq 发送10W消息报端口被占用的异常分析以及topic持久化订阅

转载来自:http://greemranqq.iteye.com/blog/2167158


、问题解析: 

       1.测试 发送10W消息,中途会出现

         socket: tcp://localhost:61616 due to: java.net.BindException: Address already in use: JVM_Bind 异常。

         你关掉activemq,利用netstat -aon | findstr "61616"   发现没有这个端口占用情况,查阅资料才知道:

         http://activemq.apache.org/jmstemplate-gotchas.html

         里面解释道,发送消息的时候创建connection,session 还要关闭,比较费资源,我猜测当创建销毁操作没测试完成的时候,另一个消息发送的时候,发现端口被占着,就会出现这个种情况,也就是说当发送频率比较高的情况,容易出现,文档建议用 pool 的东西。

        一共有spring 的CachingConnectionFactory 和 activemq 的PooledConnectionFactory,由于PooledConnectionFactory 这东西要 activemq-pool.jar ,因此我还是选择CachingConnectionFactory~。~。

       配置spring-jms.xml更改如下:

       

Java代码   收藏代码
  1.   
  2.   "connectionFactory" class="org.apache.activemq.spring.ActiveMQConnectionFactory">  
  3.       "brokerURL" value="tcp://localhost:61616?jms.useAsyncSend=false" />  
  4.     
  5.   
  6.   "cachingConnectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">  
  7.         
  8.       "targetConnectionFactory" ref="connectionFactory"/>  
  9.         
  10.       "sessionCacheSize" value="100" />  
  11.   
  12.   
  13.   "jmsTemplate" class = "org.springframework.jms.core.JmsTemplate">  
  14.         
  15.       "connectionFactory" ref="cachingConnectionFactory"/>  
  16.     
  17.     

  

   这样操作了时候,发送20W条信息也没出现过问题,而且速度比发送快了几十倍......

 

   2.topic 模式下如果A 消费者挂了,就收不到消息了,而我又想它收到消息,我们先来尝试持久化吧!

      1.对于持久化,并不默认,其实queue 默认就持久化在文件里面的,但是topic 模式下我们得开启持久化配置, 在activemq.xml 里面有这样的配置:

     

Java代码   收藏代码
  1.   
  2. "http://activemq.apache.org/schema/core" persistent="true"   brokerName="localhost" dataDirectory="${activemq.base}/data">  
  3.   
  4.   
  5.         
  6.             "true"  directory="${activemq.base}/data2" maxFileLength="3mb"/>  
  7.           

   

 

     2.持久化我们在spring-jms.xml 里面还得开启几个东西:

     

Java代码   收藏代码
  1. "1.0" encoding="UTF-8"?>  
  2. "http://www.springframework.org/schema/beans"  
  3.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
  4.        xsi:schemaLocation="  
  5.         http://www.springframework.org/schema/beans  
  6.         http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">  
  7.   
  8.       
  9.     "connectionFactory" class="org.apache.activemq.spring.ActiveMQConnectionFactory">  
  10.         "brokerURL" value="tcp://localhost:61616?jms.useAsyncSend=true" />  
  11.       
  12.   
  13.     "cachingConnectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">  
  14.           
  15.         "targetConnectionFactory" ref="connectionFactory"/>  
  16.           
  17.         "sessionCacheSize" value="100" />  
  18.       
  19.   
  20.       
  21.     "jmsTemplate" class = "org.springframework.jms.core.JmsTemplate">  
  22.           
  23.         "connectionFactory" ref="cachingConnectionFactory"/>  
  24.           
  25.         "deliveryMode" value="2" />  
  26.            
  27.         "pubSubDomain" value="true" />  
  28.       
  29.       
  30.     "topicDestination" class="org.apache.activemq.command.ActiveMQTopic">  
  31.           
  32.         "0" value="orderTopic"/>  
  33.       
  34.   
  35.   

 

 

   3.想想我们订阅者需要做些什么呢?发布者发布消息,订阅者去消费,这是1对多的形式,我们可以这样理解:公司设定很多活动代金卷,去参加活动的人都能领取,当然这分两种情况,第一种 就是我们前面测试的,只要我公司门口等(监听),活动开始(发布)就能领取了,如果你当时没在,就领取不到。第二种:很多情况下,公司搞活动我们不会等在那里,只要活动开始了,那么我过段时间也可以去,礼品公司会保留的,这种情况会导致多次领取,因此总要登记一下嘛,不能你领取了,过一会又来吧?activemq 里面会有clientId 标示来区分,类似于身份证ID嘛。

      当然有些情况下, 我们一个ID 可以领取多个不同的奖品,因此还得需要个字段标示:durableSubscriptionName,标示我们领取哪个礼品,下面先看配置

    

Java代码   收藏代码
  1. "1.0" encoding="UTF-8"?>  
  2. "http://www.springframework.org/schema/beans"  
  3.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
  4.        xsi:schemaLocation="  
  5.         http://www.springframework.org/schema/beans  
  6.         http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">  
  7.   
  8.       
  9.     "connectionFactory" class="org.apache.activemq.spring.ActiveMQConnectionFactory">  
  10.          
  11.         "brokerURL" value="tcp://localhost:61616?jms.useAsyncSend=true" />  
  12.       
  13.   
  14.     "cachingConnectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">  
  15.           
  16.         "targetConnectionFactory" ref="connectionFactory"/>  
  17.           
  18.         "clientId" value="clientA" />  
  19.       
  20.       
  21.     "topicCustomerA" class="org.apache.activemq.command.ActiveMQTopic">  
  22.           
  23.         "0" value="orderTopic"/>  
  24.       
  25.   
  26.       
  27.     "messageListener" class="com.raycloud.excalibur.mq.ConsumerMessageListener"/>  
  28.     "listenerContainerA" class="org.springframework.jms.listener.DefaultMessageListenerContainer">  
  29.         "connectionFactory" ref="connectionFactory" />  
  30.         "destination" ref="topicCustomerA" />  
  31.         "messageListener" ref="messageListener" />  
  32.           
  33.         "subscriptionDurable" value="true"/>  
  34.           
  35.         "clientId" value="clientA" />  
  36.           
  37.         "durableSubscriptionName" value="clientA"/>  
  38.       
  39.   
  40.   

     

Java代码   收藏代码
  1. // 这是消费者代码,这里你可以创建 多个XMl文件,模拟多个消费者。  
  2. public class JmsTopicReceiver{  
  3.     public static void main(String[] args) throws Exception {  
  4.         // 加载消费者监听  
  5.         ApplicationContext context = new ClassPathXmlApplicationContext("spring/spring-jms-consumerA.xml");  
  6.         // 写个死循环,模拟服务器一直运行  
  7.         while (true){}  
  8.     }  
  9. }  

 

 

     

Java代码   收藏代码
  1. // 监听代码 直接输出  
  2. public class ConsumerMessageListener implements MessageListener {  
  3.     @Override  
  4.     public void onMessage(Message message) {  
  5.         System.out.println("topic 收到消息:"+message);  
  6.     }  
  7. }  

  

 

三、测试:

       我们要完成一个收到一个order,然后N个服务计算的问题,因此采用topic 模式,而防止中途服务器挂掉,采用持久化方式,模拟测试如下:

       1.启动两个ConsumerA,ConsumerB 监听,发布一个order ,同时收到消息,OK

       2.启动一个ConsumerA,发布一个Order,再启动ConsumerB,也收到消息,OK

       3.启动一个ConsumerA,发布一个Order,A收到,关闭mq服务器,重启mq服务(前后),重启ConsumerB ,同样收到消息,OK。

       4.启动两个ConsumerA,ConsumerB,发布order,A,B收到消息,重启A,B  不收重复消息,OK   

       好像基本能满足需求了,由于发送量 不会很大,频率不会很高,可以试用一下了。

 

      那么新问题是:

      1.如果A,B 收到消息后,topic  的消息怎么处理呢? 一直保存着吗? 如果可以清除,怎么清除,什么时候进行清除呢?文件的方式方便管理吗?

      2.虽然消息发送过去了,对象信息怎么接受呢,当然会有消息转换器..

      3.在queue 模式下,服务器断开了,怎么从新连接呢,如果服务器挂了,怎么切换到备用的呢?

 

小结:

        1.这是初步尝试了下 topic 持久化到文件,当然也可以持久化到数据的,关于activemq 持久化以及介绍文章,可以参考:http://blog.csdn.net/xyw_blog/article/details/9128219 比较详细。

        2.


你可能感兴趣的:(消息中间件)