Advanced Message Queuing Protocol ( 4 ) over InfiniBand

<Design and Evaluation of Benchmarks for Financial Applications using Advanced Message Queuing Protocol (AMQP) over InfiniBand>
Hari Subramoni, Gregory Marsh, Sundeep Narravula, Ping Lai, and Dhabaleswar K. Panda
Department of Computer Science and Engineering, The Ohio State University

---

InfiniBand 是近几年新兴的网络传输技术, 具有高带宽,低延迟的特点.通过一种长缆线的连接方式, 组成统一的互连结构, 既可以处理存储I/O, 网络I/O， 也能够处理进程间通信（IPC）。 他可以消除目前阻碍服务器和存储系统的瓶颈问题， 是一种致力于服务器端而不是PC端的高性能I/O技术， 主要应用于数据中心。
InfiniBand 支持两种传输模型， 通道方式（Channel Semantics）和 内存方式（Memory Semantics）。通道方式主要是离散收发数据， 内存方式使用RDMA技术， 允许进程存取远程进程的内存， 而不经过CPU。InfiniBand有两种方式支持TCP/IP协议，IP over IB （IPoIB）和 Socket Direct Protocol（SDP）。

AMQP性能测试

测试环境：
节点：
CPU：Intel Xeon Quad dual-core processor， 6GB RAM
操作系统：Red Hat Enterprise Linux 4U4.
网卡：1 GigE Network Interface Controller(NIC) with InfiniBand Host Channel Adapter(HCA)

BROKER 版本
Qpid Version M3 Alpha
运行参数：TCP no delay

基础环境测试：
测试网络最大流量（使用socket）：
IPoIB：550 MBps
SDP：650 MBps

 

Direct Exchange - Single Publisher Single Consumer (DE-SPSC)

(a) DE-SPSC Small Message Latency
(b) DE-SPSC Large Message Latency

(c) DE-SPSC Message Rate, and
(d) MPI Level Message Rate

 

Direct Exchange - Multiple Publishers Multiple Consumers (DE-MPMC)

(a) DE-MPMC Bandwidth
(b) DE-MPMC CPU Utilization over IPoIB

(c) DE-PP Small Message Latency
(d) DE-PP Large Message Latency

 

Fanout Exchange - Single Publisher Multiple Consumers (FE-SPSC)

(a) Bandwidth
(b) IPoIB Message Rate

(c) 1 GigE Message Rate
(d) SDP Message Rate

 

Topic Exchange - Single Publisher Single Consumer (TE-SPSC) Benchmark

(a) Bandwidth
(b) IPoIB Message Rate

(c) 1 GigE Message Rate
(d) SDP Message Rate

结论:
IPoIB 对小的消息的处理性能比较好, SDP对于大的数据处理性能表现良好.
Borker的CPU占有率和producer和consumer的数量成正比.
IPoIB对于信息传输率(message rate)非常敏感, 这个与IPoIB的栈开销有关,如果使用RDMA技术, 性能将进一步提升.
测试数据表明, 最好将这些技术混合运用, 另外加入多个Broker的来解决Broker 的瓶颈问题