ActiveMQ消息存储-KahaDB消息存储和AMQ消息存储

      JMS 规范支持两种类型的消息传递:持久和非持久的。对于持久的传递的消息必须被记录至稳定的存储去,

而对非持久的存储,JMS Provider必须尽力传递该消息,但是不会将该消息子记录至稳定的存储去的。

      持久的消息使用:当消息传递给Broker后,不管消息发送时Consumer是否运行,该消息对Consumer

始终是可用的。

      只有当消息被Consumer消费或确认时,它才会被从消息存储中删除。

      非持久的消息使用:用于发送通知或非即时的数据。

 

      Storage for Queue: 消息存储是按照First in, First out(FIFO)的顺序存储的,One message is

dispatched to a  singleconsumer at a time. 只有当消息被消费或被确认时,它才会被从消息存储中删除。

      For durable sunscribers to a topic: 每个Consumer获取一个消息的Copy。为了节省存储空间,每个

消息只有一个Copy被Broker存储。存储维护Durable Subscriber的指针,该指针指向下一个存储的消息,并

且分发该消息的Copy给它的Consumer. 因为在这种情况下,每个消息都有多个潜在消费者,所以消息只有当

被成功的传递给每个注册的Durabel Subscriber后,才会被删除。

 

1. KahaDB消息存储

    这是一种基于文件的消息存储,并且联合Journal事务,可稳定存储消息并且恢复消息。KahaDB消息存储使

用事务Log作为它的索引,并且对所有的Destination仅仅使用一个索引文件,该索引文件是事务日志文件组中

消息ID的索引。XML文件中配置KahaDB存储如

下:

<broker brokerName="broker" persistent="true" useShutdownHook="false">
	<persistenceAdapter>
		<kahaDB directory="activemq-data" journalMaxFileLength="16mb" />
	</persistenceAdapter>
</broker>

     Java语言实现配置:

public class EmbeddedBrokerUsingAMQStoreExample {
	BrokerService createEmbeddedBroker() throws Exception {
		BrokerService broker = new BrokerService();
		File dataFileDir = new File("target/amq-in-action/kahadb");
		KahaDBStore kaha = new KahaDBStore();
		kaha.setDirectory(dataFileDir);
		// Using a bigger journal file
		kaha.setJournalMaxFileLength(1024 * 100);
		// small batch means more frequent and smaller writes
		kaha.setIndexWriteBatchSize(100);
		// do the index write in a separate thread
		kaha.setEnableIndexWriteAsync(true);
		broker.setPersistenceAdapter(kaha);
		// create a transport connector
		broker.addConnector("tcp://localhost:61616");
		// start the broker
		broker.start();
		return broker;
	}
} 

2. KahaDB消息存储原理

    KahaDB消息存储联合使用快速的事务处理:Journal以及数据日志文件,该日志文件是消息ID的索引,并且

    在内存中缓存消息。

    参考:In KahaDB messages are stored in indexed log files and cached for performance.png

3. KahaDB消息存储目录结构

    包含以下文件及文件夹:db log files, archieve directory, db.data.db.redo.

4. 配置KahaDB消息存储

    参考:Manning ActiveMQ inAction.pdf(101-102)

 

 

      AMQ消息存储,类似于KahaDB。它使用了journal事务来确保稳定的持久、恢复、高性能的索引。这种存

储方式主要用于大数据(消息)量的存储。对每个索引文件,有两个单独的文件;一个用于每个Destination。如

果每个Broker有上千个Queue,此时使用AMQ消息存储是不合适的,并且恢复数据也很慢,因为所有的索引文

件需要rebuid,需要Broker扫描所有的Data logs去再次构建索引。

 

1. AMQ消息存储

    与KahaDB类似,主要包括以下几部分:

    (1) Data Logs: 作为消息journal.

    (2) Cache: 在消息写入data log后,在内存中保持消息用于快速恢复。

    (3) Reference Store:在journal保存消息的引用,按照消息ID索引。

2. AMQ消息目录结构

    包括:lock file,temp-storage directory, kr-store,journal directory, archive directory.

3. AMQ消息存储配置

<?xml version="1.0" encoding="UTF-8"?>
<beans>
	<broker xmlns="http://activemq.apache.org/schema/core">
		<persistenceAdapter>
			<amqPersistenceAdapter directory="target/Broker2-data/activemq-data"
				syncOnWrite="true" indexPageSize="16kb" indexMaxBinSize="100"
				maxFileLength="10mb" />
		</persistenceAdapter>
	</broker>
</beans>

     详细配置参考:Manning ActiveMQ inAction.pdf(105-106)

你可能感兴趣的:(activemq)