MetaQ技术内幕——源码分析(一)

阅读更多

笔者最近在业务上需要使用到MetaQ,也借此阅读了MetaQ的相关源码,准备分享MetaQ源码分析。先扫扫盲,如果读者对MetaQ已经较为熟悉,可以跳过下一段落。

 

一、MetaQ简介

 

MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,METAQ在阿里巴巴各个子公司被广泛应用,每天转发250亿+条消息。主要应用于异步解耦,Mysql数据复制,收集日志等场景。

 

 主要特点

 

  • 生产者、服务器和消费者都可分布
  • 消息存储顺序写
  • 性能极高,吞吐量大
  • 支持消息顺序
  • 支持本地和XA事务
  • 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据
  • 支持消费端事务
  • 支持消息广播模式
  • 支持异步发送消息
  • 支持http协议
  • 支持消息重试和recover
  • 数据迁移、扩容对用户透明
  • 消费状态保存在客户端
  • 支持同步和异步复制两种HA

二、MetaQ的总体架构

 

消息中间件消费消息有两种方式,推送消息和拉取消息,一般对于实时性要求非常高的消息中间件,会更多的采用推送的模式,如ActivitiQ,而MetaQ采用的主动拉取消息的模式,通过Zookeeper进行协调,MetaQ分为三部分:Server、Client(包括消息产生者和消费者)以及协调者Zookeeper,总体结构如下:

 

 
MetaQ技术内幕——源码分析(一)_第1张图片

 

三、工程结构分析

 

MetaQ的源码可以从以下链接获取:https://github.com/killme2008/Metamorphosis (本序列基于MetaQ 1.4.5进行分析),下载工程到本地,我们发现主要有如下几个工程,先大致介绍一下工程的划分:

 


MetaQ技术内幕——源码分析(一)_第2张图片

 

    • metamorphosis-client,生产者和消费者客户端
    • metamorphosis-client-extension,扩展的客户端。用于将消费处理失败的消息存入notify(未提供),和使用meta作为log4j appender,可以透明地使用log4j API发送消息到meta
    • metamorphosis-commons,客户端和服务端一些公用的东西
    • metamorphosis-dashboard, metaq的Web信息展示
    • metamorphosis-example,客户端使用的例子
    • metamorphosis-http-client,使用http协议的客户端
    • metamorphosis-server,服务端工程
    • metamorphosis-server-wrapper,扩展的服务端,用于将其他插件集成到服务端,提供扩展功能,支持高可用的同步异步复制
    • metamorphosis-storm-spout,用于将meta消息接入到twitter storm集群做实时分析
    • metamorphosis-tools,提供服务端管理和操作的一些工具

 工程依赖图大致如下:

 

 
MetaQ技术内幕——源码分析(一)_第3张图片

 

源码分析也将以分Server和Client两阶段进行,将优先进行Server的分析,下一篇将正式带大家进入MetaQ的世界。

  • MetaQ技术内幕——源码分析(一)_第4张图片
  • 大小: 38.4 KB
  • MetaQ技术内幕——源码分析(一)_第5张图片
  • 大小: 20.2 KB
  • MetaQ技术内幕——源码分析(一)_第6张图片
  • 大小: 34.2 KB
  • 查看图片附件

你可能感兴趣的:(MetaQ技术内幕——源码分析(一))