rocketmq,zookeeper,redis分别持久化的方式

1.rocketmq持久化:

RocketMQ 的所有消息都是持久化的， 先写入系统 PAGECACHE， 然后刷盘， 可以保证内存与磁盘都有一份数据，访问时，直接从内存读取。

RocketMQ 的所有消息都是持久化的， 先写入系统 PAGECACHE， 然后刷盘， 可以保证内存与磁盘都有一份数据，访问时，直接从内存读取。

RocketMQ 的所有消息都是持久化的， 先写入系统 PAGECACHE， 然后刷盘， 可以保证内存与磁盘都有一份数据，访问时，直接从内存读取。

 

 

推荐看下RocketMQ,使用文件做持久化, 并支持分布式事务(虽然可能造成较多的写脏), 异步刷盘,内存预分配, 高可用采用了同步双写及异步复制的方式, 通信是用netty做的,基本上所有耗时的操作都采用了异步的方式, 另外与NameServer之间的通信是通过HTTP的,这里可能要加入多个nameserver做软负载。

 

RocketMQ的消息持久化是基于文件系统，而从效率来看文件系统>kv存储>关系型数据库。那么，到底是如何存储的，相信对源码进行解析，将会是我们大大提高对消息存储的认识。

 

使用的就是nio的MappedByteBuffer类来提高读写性能。这个类是文件内存映射的相关类，支持随机读和顺序写。在RocketMQ中，被封装成了MappedFile类。 
RocketMQ对于每类大文件，在存储时候分割成了多个固定大小的文件，每个文件名为前面所有的文件大小加1（也就是偏移量）。从而实现对整个大文件的串联拼接。接下来就需要看看MappedFIle这个封装类了。

 

7.2.1 异步刷盘

在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左右，而线上的网卡一般都为千兆网卡，写磁盘速度明显快于数据网络入口速度，那么是否可以做到写完内存就向用户返回，由后台线程刷盘呢？

(1). 由于磁盘速度大于网卡速度，那么刷盘的进度肯定可以跟上消息的写入速度。

(2). 万一由于此时系统压力过大，可能堆积消息，除了写入 IO，还有读取 IO，万一出现磁盘读取落后情况，会不会导致系统内存溢出，答案是否定的，原因如下：

a) 写入消息到 PAGECACHE 时，如果内存不足，则尝试丢弃干净的 PAGE，腾出内存供新消息使用，策略是 LRU 方式。

b) 如果干净页不足， 此时写入PAGECACHE会被阻塞， 系统尝试刷盘部分数据， 大约每次尝试32个PAGE，来找出更多干净 PAGE。

综上，内存溢出的情况不会出现。

7.2.2 同步刷盘

同步刷盘与异步刷盘的唯一区别是异步刷盘写完 PAGECACHE 直接返回， 而同步刷盘需要等待刷盘完成才返回，同步刷盘流程如下：

(1). 写入 PAGECACHE 后，线程等待，通知刷盘线程刷盘。

(2). 刷盘线程刷盘后，唤醒前端等待线程，可能是一批线程。

(3). 前端等待线程向用户返回成功。

2.

转载于:https://www.cnblogs.com/panxuejun/p/8621836.html