MySQL推出的云原生数据库（CloudNativeDatabase）产品，通过将数据库中计算和存储分离，多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题；通过引入RDMA

之前的章节介绍了NVMeoverFabrics的发展背景及协议的基本内容，查看上文《为了部落：NVMeoverFabric诞生记》，这节将介绍与NVMeoverFabrics密切相关的一个传输层协议——RDMA

yuminstallcentos-release-glusteryumcleanallyuminstall-yglusterfsglusterfs-serverglusterfs-fuseglusterfs-rdma2

【前言】这是一次充满曲折与反转的问题分析，资料很少，代码很多，经验很少，概念很多，当内核态，用户态，DIF，LBA，大页内存，SGL，RDMA，NVME和SSD一起迎面而来的时候，问题是单点的意外，还是群体的无奈

为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。

为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。

为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。

网络环境上，从主流千兆网发展为双万兆，更高性能的RDMA很快将在公司铺开，规划中的100G网络将在19年初大规模应用

要了解RoCE,首先就要了解RDMA。

RDMA技术传统上的RDMA技术设计内核封装多层网络协议并且涉及内核数据传输。RDMA通过专有的RDMA网卡RNIC，绕过内核直接从用户空间访问RDMAenabledNIC网卡。

3.DSCP-BASEDPFC在本小节中，我们测试了原始的基于VLAN的PFC面对的问题，并提出了基于DSCP的PFC方案。基于VLAN的PFC暂停帧中，VLANTAG中包含了数据包优先级和VID，但是优先级和VID在部署中引发了两个严重的问题，因此提出了基于DSCP的PFC方案。暂停帧是一个二层帧，并没有VLAN标签，数据包的VLAN标签有四部分，TPID被固定为0x8100，DEI（DropE

最近在看disni，一个基于java语言的RDMA库，给的代码需要在终端编译运行，以前写java程序都是用IDE写，对于如何在终端编译和运行java程序一窍不通啊。

基于RDMA高速网络的高性能分布式系统魏星达，陈榕，陈海波上海交通大学并行与分布式系统研究所，上海200240摘要：高速的RDMA网络设备已经被广泛部署在现代数据中心。

像闪存，NVMe，以及英特尔公司Optane这样的存储级内存正大幅提升存储容量，非常适合推动存储需求最大化的工作负载，如容器，大数据，机器学习，以及超融合基础设施，所有这些技术与应用都使用文件和对象存储，而不是SAN的块存储。但是除了高速存储之外，这些工作负载还需要低延迟网络，线程不会阻塞的CPU，尤其是使用软件定义网络的超融合系统。以太网是一个众所周知的协议，安装以太网的网络并没有光纤通道那样的

背景面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在处理延时过大，数十微秒；多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时;如今，服务器的网络带宽越来越高。当网络带宽迈过万兆这条线后，操作系统用于处理网络IO的开销就越来越难以忽视。在一些

来源：https://zcopy.wordpress.com/说明：本文不是对原文的逐字逐句翻译，而是摘取核心部分以介绍RDMASend操作(后面凡是提到RDMAsend,都对应于IBA里的send操作)。文中给出的例子非常浅显易懂，很值得一读。1.WhatisRDMA|什么是RDMARDMAisRemoteDirectMemoryAccesswhichisawayofmovingbuffersb

今天要讲的文章是OSDI2016年的一篇文章，FastandConcurrentRDFQuerieswithRDMA-basedDistributedGraphExploration。RDF全称是资源描述框架，RDF将现实生活中的关系描述成实体与实体之间的关系。这种实体与实体之间的关系可以用图来描述。实体可以用顶点来描述，实体与实体之间的关系可以用边来描述。RDF图Graph应用场景：通过对大量且

接下来我们继续讨论RDMA技术、原理和优势，看完文章你就会找到为什么RDMA可以更好的解决这一系列问题。RDMA是一种

最近工作需要了解RDMA的工作细节，这里参考别人的博客，简述RDMA的三种模式和对于不同的情景如何选择RDMA的模式：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use

1什么是RDMA1.1传统意义上的DMA---直接内存访问（DMA）方式,是一种完全由硬件执行I/O交换的工作方式。

RDMA学习笔记基本操作Memoryverbs:包括RDMAread,write,atomic操作，绕过接受者的CPUMessagingverbs：包括RDMAsend,receive操作，涉及响应者的

接下来我们继续讨论RDMA技术、原理和优势，看完文章你就会发现为什么RDMA可以更好的解决这一系列问题。RDMA是一种

文献：基于RDMA的分布式存储系统研究综述作者：陈游旻RDMA是远程直接内存访问，是为了解决网络传输中服务器端数据处理的延迟而产生的。

rdma.cc相关结构体//structuretosavetheaddressofremotechannels.structRdmaAddress{uint32_tlid;uint32_tqpn;uint32

浏览编程手册RDMAAwareNetworksProgrammingUserMannual上面的例子已经有好心人搬到了Github上RDMA-EXAMPLE找了一台ARM64机器准备开始，不知道支不支持执行下面的命令

后续自己将针对RDMA技术做进一步学习和研究！

在高性能计算领域，RDMA技术很早就已经得到了验证，并且进行了一定范围的应用。随着大数据与人工智能的高速发展，RDMA技术也将在企业内得到推广。走进

同时，很多数据密集型应用（例如，数据分析和深度学习框架）正在或希望采用RDMA来提高网络性能。行业趋势表明，这两种场景不可避免地会发生冲突。在本文中，我们介绍了Fre

ScalableandSimpleDistributedTransactionswithTwo-sidedDatagramRPCs1Introduction2Background2.1Fastdistributedtransactions2.2RDMA3Choosingnetworkingprimitives3.1AdvantageofRPCs3.2Advantageofda

毫无疑问地，用来取代iSCSI/iSER(iSCSIExtensionsforRDMA)技术的NVMeoverFabrics着实让RDMA又火了一把。

声明：本文转至IT168：因为GlusterFS实现了IB网络（RDMA协议，专用硬件网卡支持），当时就在想普通的网卡能不能实现，就找到一篇这样的文章介绍，基于TCP协议来实现。！

目录Abstract1.Introduction2.Motivation3.Background4.Challenges5.DesginofjVerbs5.1FullRDMASemantics5.2Memory-mappedHardwareAccess5.3StatefulVerbCalls6.Implemention6.1Zero-copyDataMovement6.2DirectKernelI

目录Abstract1.Introduction2.DesignChoicesandObservations2.1DesignChoicesforRDMA-BasedRPC2.2In-Boundvs.Out-BoundAsymmetry2.3BypassAccessAmplification3.RFP:RemoteFetchingParadigm3.1DesignOverview3.2Challe

目录1.Introduce2.Accelio设计目标3.AccelioKeyFeatures4.Whocantakeadvantageofit?5.Accelio的结构示意图6.AccelioIntegrationWithOtherApplications/Projects7.一个会话/连接建立流程8.高级别传输流程-异步请求/响应模型（TransactionDeliveryAPIModel）9.

目录Abstract1.Introduction2.BACKGROUNDANDISSUESOFRDMA2.1BackgroundonRDMA2.2RDMAinDataCenterApplications2.3Issue1:MismatchinAbstractions2.4Issue2:UnscalablePerformance2.5Issue3:LackofResourceSharing,Isol

DiSNI为RDMA编程提供了两个API，即low-levelverbsAPI和更高级别的endpointAPI。

这里是我自己写的一个关于“RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试”等的一个学习目录；可以更方便的进行学习及文章的查找：学习目录：RMDA、IB卡、IB驱动包下载

RDMA简介传统的TCP/IP技术在数据包处理过程中，要经过操作系统及其他软件层，需要占用大量的服务器资源和内存总线带宽，数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动，给服务器的CPU

1.RDMA基本知识RDMA是一种使一台计算机可以直接将数据从内存通过网络传送到另一台计算机内存中的技术，其流程是首先将数据通过DMA方式拷贝到NIC(网卡)，再通过网络传输到远端NIC，然后直接到达远端内存

目录Abstract1.Introduction2.Motivation3.Background4.DesignofDaRPC4.1SingleClient-ServerRPC4.2Server-SideProcessing4.3Client-SideProcessing4.4Reliability,OrderingandFlowControl5.ApplicationProgrammingInt

▌新功能1．增加了对按原始分配释放大页的支持一些使用内存事件回调（特别是管理RDMA内存区域的事件）的应用程序要求内存被释放回原始分配的系统位置。

RDMA(RemoteDirectMemoryAccess)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。

GlusterFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统。docker可以将本地文件存储到GlusterFS中，保证文件备份。

RDMA-Aware编程概述@(RDMA翻译资料)机器翻译，大概能理解。VPI架构允许用户直接访问硬件。Mellanox提供动态加载库，通过VPI接口直接访问硬件。

本文主要解决的问题是在RoCEv2体系中，基于VLAN的PFC的拥塞控制是逐跳工作的，源和目的服务器之间可能有多跳，如果有持续的网络拥塞，PFC暂停帧会从阻塞点传播并返回到源，这就会导致诸如unfairness和victimflow的问题。因此作者提出了基于DSCP的优先级流量控制机制PFC，替换掉PCP和VID来确保大规模部署。Abstract在过去一年半的时间，我们已经使用RoCEv2来支持一

本文主要解决的问题是在RoCEv2体系中，基于优先级的拥塞控制PFC是一种粗粒度的机制。它在端口（或端口加优先级）级别上运行，并且不区分流。PAUSE机制是基于每个端口（和优先级）的，而不是基于每个流的。这将导致Unfairness和Victimflow等问题。为了解决这个问题，作者提出了DCQCN机制，DCQCN提供快速收敛以达到公平性，实现高链路利用率，确保低队列建立和低队列振荡。并且为了优化

RDMA(RemoteDirectMemoryAccess)技术全称远程直接内存访问，就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。

2620v4128G512GMellanoxTechnologiesMT27500node012*E5-2620v4128G512GMellanoxTechnologiesMT27500node021.使用ib_read_bw命令，测试RDMA

目录什么是RDMARDMA实现常见网络环境RDMA的三种实现RDMAvsDPDKKuberneteswithRDMANetwork三种主要容器网络模式RDMA设备与k8s集成pod多网络参考资料什么是RDMA

转自:https://my.oschina.net/SysuHuyh5LoveHqq/blog/842767本博客仅作为分享本人学习rdma技术过程中一些经验和资料分享，若有错误之处，还请指教。