消息队列Qpid入门

本文将介绍一些使用Qpid需要了解的基础概念，不涉及Qpid的性能、安全、高可用、API等。包含的内容如下：

Qpid的定义
Broker
安装与启动
Web管理界面
Qpid的几个组成部分的概念
介绍Broker内的Exchange与Queue
参考资料

QPID是一种实现AMQP协议的消息队列

AMQP是一种用于业务消息的开放网络协议。他定义了一种允许双方进行可靠业务消息传递的二进制线级协议。该协议的目标是成为所有消息中间件之间进行互操作的标准协议。
消息队列是一种进程间通信线程或同一进程的不同线程间的通信方式。
Qpid则是由Apache开发的一种消息队列，实现了AMQP协议，并且支持多种语言与多种平台。

Qpid采用Broker架构

Qpid提供了一个服务端（即Broker），我们自己实现的各个单独的业务模块进行通讯时，发送的消息需要先经过Broker。Qpid实现了两种Broker，一种采用Java语言实现，一种采用C++语言实现，两者实现的特性是不同的，如Java版的Broker支持的AMQP版本为 0-10,0-9-1,0-9,0-8和1.0，而C++版的Broker仅支持1.0和0-10版本的AMQP，具体的差别需要查看官方文档，本文仅仅针对Java版的Broker进行说明演示。

Broker的安装与启动

此处以运行在Windows系统下的Java版Broker为例，Linux版的可参考官方文档

下载

在该页面内下载Brokerhttps://qpid.apache.org/download.html

安装

解压下载的Broker安装包即可

设置工作目录

在Windows系统内设置系统变量 QPID_WORK。

setx QPID_WORK Broker的安装目录/work /m

在工作目录中，默认存储着需要持久化的消息和Broker的日志文件，还包括一些配置文件。

执行启动脚本，启动Broker

在bin目录内执行qpid-server.bat脚本，即可启动Broker。

启动成功，界面上打印**[Broker] BRK-1004 : Qpid Broker Ready**

Web管理界面

Qpid一般可以通过Web界面、REST API等方式进行管理，下面主要介绍Web管理界面。
Qpid提供了一个Web管理界面，提供了添加Exchange、Queue以及将Queue绑定到Exchange上等功能。Qpid大多数的管理操作都可以在这个Web管理界面完成。
管理界面的端口默认为8080。在Broker所在的操作系统内打开浏览器，输入网址localhost:8080即可打开管理界面的登录页面。使用用户名admin，密码admin，即可登录。

web管理界面

在管理界面的左边有一颗树，树的根为 Broker，其子节点分别为 brokerloggers、 virtualhostnodes、 ports、 authenticationproviders、 plugins。每个节点及其下子节点等都可以尝试双击下，如果可以在界面右边打开一个标签页，那么就可以针对这个节点进行一些设置。

brokerloggers

Qpid可以有多个logger，用于配置Qpid的日志打印。Qpid提供了多种类型的logger供用户使用。默认情况下则提供了名字为memory和名字为logfile的两个logger。memory的类型为Memory。Memory类型的logger默认在内存中保存最近的4096条日志事件，用户可以通过web管理界面查看保存的日志。logfile的类型为File。File类型的logger会将日志写入到磁盘文件中，用户可以配置日志文件的路径、名称、打印日志的样式、打印的日志级别、如何进行rolling等。如果对log4j等日志框架的使用，那么对于File类型的logger应该不会太陌生，这里不再敖述。关于日志的更多信息可参考这里

virtualhostnodes

virtualhostnodes节点内可以有多个virtualhostnode，每个virtualhostnode只有一个virtualhost，而virtualhost内有多个exchange与queue；virtualhostnode与virtualhost各自多种类型，基本与其使用的存储和HA有关，如Derby，BDB类型等。
默认情况下，qpid创建了一个名字为default的virtualhostnode和一个名字为default的virtualhost。名字为default的virtualhostnode的类型为JSON，名字为default的virtualhost类型是DERBY。

ports

Qpid的port与平常理解的端口不同，这里定义的是使用协议进行消息传输和管理Qpid。Qpid默认提供了名字为HTTP和名字为AMQP的port，名字为HTTP的port的类型是HTTP，名字为AMQP的port类型是AMQP。Qpid通过HTTP类型的port进行Qpid的管理，如添加删除queue，通过AMQP类型的port进行消息的传输。从名字可以看出，HTTP类型的port使用的是http协议，AMQP类型的port使用的是amqp协议。

名字	port类型	协议	作用	Authentication Provider
HTTP	HTTP	http	用于通过http协议管理Qpid	passwordFile
AMQP	AMQP	amqp	用于通过amqp协议传输消息	passwordFile

authenticationproviders

Authentication Provider用于port进行连接的认证。Qpid默认提供一个名字为passwordFile的Authentication Provider，类型为PlainPasswordFile。PlainPasswordFile根据本地文件中纯文本中存储的用户账号密码验证用户，该文本文件的格式为：

用户名:密码

passwordFile设置了该文本文件为Qpid安装目录下的文件夹etc下的passwd文件，内容为

guest:guest
client:guest
server:guest
admin:admin

webadmin:webadmin

每个port只能设置一个Authentication Provider。Qpid提供的两个port（HTTP和AMQP）默认都使用了passwordFile。所以我们在登录Web管理界面和进行消息传输时，可以使用guest、clent、server、admin、webadmin进行登录，其密码分别对应为guest、guest、guest、admin、webadmin。
Qpid提供的Authentication Provider的类型包括：Anonymous、External、Kerberos、SimpleLDAP、OAuth2、ScramSha、Plain、PlainPasswordFile、MD5、Base64MD5PasswordFile
其中Anonymous是最简单的，它的作用是不对连接做任何认证。如果把Qpid的HTTP（port）的Authentication Provider设置为Anonymous类型，那么我们无需经过登录页面输入用户密码即可进入管理页面。

plugins

该节点下默认有两个插件，httpManagement和jmxManagement。
MANAGEMENT-HTTP类型的httpManagement，现在使用的Web管理界面以及REST API由httpManagement这个插件提供。jmxManagement与jmx相关，最新版的文档没有找到这方面的信息，6.4. JMX Management这是一份旧的文档，有需要可以参考。

Broker的Exchange、Queue

Exchange和Queue是Broker的两个重要部分。Exchange用于接收消息发送者的消息，并根据其自身的路由算法、绑定表、消息中的一些属性，将消息路由到对应的Queue中；Queue用于存储消息，消息消费者需通过Queue获取消息。各个Queue与各个Exchange通过绑定表进行绑定，Exchange的绑定表的内容包括Queue、Binding key、Arguments。当消息到达Exchange时，在不考虑Arguments的情况下，如果Binding key会与消息中的Routing key（Routing key实际指消息中属性qpid.subject的值）匹配成功，则消息会发给绑定表内对应的Queue。

Exchange的类型：Direct,Topic,Fanout,Headers

Broker提供了4种类型的Exchange，不同类型的Exchange，实现的路由算法不同。初始启动Broker服务器时，Qpid会预先在Broker中创建4个Exchange，名字分别为

amq.direct (类型为direct)
amq.topic (类型为topic)
amq.fanout (类型为fanout)
amq.match (类型为headers)

以下讨论的Topic、Direct、Fanout不考虑绑定表中的Arguments对消息的影响。Topic、Direct、Fanout都支持Arguments中的JMS message selector，具体使用方法可参考 binding argument specifying a JMS message selector和How to use Message Selectors to filter messages。Headers不支持JMS message selector。

Topic

一般用于发布/订阅模式的消息模式。
该类型Exchange的绑定表的binding key支持精确匹配和通配符匹配，其中 * 代表一个单词， # 代表零个或者多个单词，单词与单词之间以 . 分隔。

Topic的精确匹配

Exchange-Topic(来源qpid.apache.org)

消息生产者将消息发送到amq.topic，消息的routing_key与绑定表的binding_key都相等，则将消息路由至队列sub1、sub2、sub3。

Topic的通配符匹配

Exchange-Topic-Hierarchical(来源qpid.apache.org)

红色消息的routing_key为news.uk，即两个单词news和uk。查看绑定表，第一个binding_key匹配news和零个或者多个单词，匹配成功，消息会发送至队列sub1；第二个binding_key匹配news和uk，匹配成功，消息会发送至队列sub2；第三个binding_key匹配一个单词加uk，匹配成功，消息会发送至队列sub3。绿色消息只匹配了第一个binding_key，会发送至sub1。蓝色队列匹配第三个binding_key，会发送至sub3。黄色队列没有匹配成功，此时qpid的处理方式会根据协议版本和设置的不同有所不同，一般是直接丢弃消息。

Direct

一般用于点对点的模式。与Topic不同的是Direct类型的Exchange的绑定表的binding key只支持精确匹配。

Exchange-Direct(来源qpid.apache.org)

如图所示，黄色消息的routing_key的值与绑定表中第一条记录的binding_key相等，则黄色消息会传递到队列myqueue；红色消息的的routing_key的值与绑定表中第二条和第三条记录的binding_key相等，则红色消息会传递到队列bar1和bar2内；蓝色消息的routing_key消息与绑定表无法匹配，此时qpid的处理方式会根据协议版本和设置的不同有所不同，一般是直接丢弃消息。

Fanout

一般用于广播模式。绑定表的binding_key不生效，发送至该类型Exchange的消息直接发送至绑定表内的队列。

Exchange-Fanout(来源qpid.apache.org)

Headers

Headers的作用是支持Arguments中设置的x-match。具体使用方法，参考 x-match expression。Headers不支持JMS message selector。

Queue的类型

支持4中类型：
Standard - 一个简单的先进先出队列。

Priority - 每个消息的priority决定消息的传输顺序。
注意如果在创建该类型队列时，设置Priorities属性的值为0，则Broker服务端进程进行会抛数组越界异常，直接退出。退出后手动可以启动，但如果对qpid进行操作也会导致Broker服务端进程退出。在采用Qpid JMS (AMQP 0-10)的setJMSPriority(int priority)设置消息优先级并发送至队列时，消息队列内接收到的消息的优先级依旧是默认的优先级4，暂时不知道是什么原因引起这种情况。

Sorted - 传输顺序依赖于在消息中的排序键属性。
例如设置queue的qpid.queue_sort_key的值为testSortedKey，设置5条消息的属性testSortedKey的值分别为字符'5','4','1','6','7'，并将消息发送至Sorted类型的队列，则之后消费者消费消息时的顺序是'1','4','5','6','7'。

Last Value Queue - 该队列只保存包含指定的LVQ key值的最新的一条消息。但是未包含指定LVQ key值的消息正常存储在队列上。

参考资料

维基百科:Advanced Message Queuing Protocol
AMQP官网
AMQP协议规范文档下载
Apache Qpid Broker for Java
How to use Message Selectors to filter messages