E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
DPU&RDMA
SPDK (part 4, arch stuff, TBD)
之前先记录理解几个基本概念:
RDMA
(RemoteDirectMemoryAcess):两个关键词hostoffload,hostbypass的,是一种应用内存互访技术,下图是当前支持
RDMA
的网络协议或者说是载体
拖鞋花短裤
·
2019-12-07 19:02
从0开始的InfiniBand硬件踩坑过程
在此将博主从0到
RDMA
的实践过程做一个总结,以避免大家在做此类研究的时踩坑、浪费时间。1.首先准备了Mellanox的网卡(博主使用的是ConnectX-3354A)插到Pice*8的槽上,用I
Freedom314
·
2019-12-06 16:00
每天3分钟操作系统修炼秘籍(14):IO操作和DMA、
RDMA
点我查看秘籍连载I/O操作和DMA、
RDMA
用户进程想要执行IO操作时(例如想要读磁盘数据、向磁盘写数据、读键盘的输入等等),由于用户进程工作在用户模式下,它没有执行这些操作的权限,只能通过发起对应的系统调用请求操作系统帮忙完成这些操作
骏马金龙
·
2019-11-17 10:00
深入理解SPDK之八:性能优化
永远保持高队列深度对于NVMESSD和
RDMA
这种基于completionqueue/submittionqueue硬件机制的设备,就应该根据硬件队列执行的特性,始终保持队列中有物理队列深度这么多的请求在跑
存储之厨
·
2019-08-27 23:13
SPDK
Linux
性能优化
存储相关
阿里云 ESSD 采用自研新一代存储网络协议,打造“超级高速”
随着AIoT时代的到来,所有数据都要求实时采集、传输、计算,传统TCP和
RDMA
网络都无法完美适配云时代的存储需求。ES
阿里云云栖社区
·
2019-08-27 00:00
存储过程
分布式
物联网
数据仓库
高并发
RoCE网络中的QoS功能
RDMA
在NIC内部实现传输
北春南秋
·
2019-06-06 10:18
NVMe over Fabric 介绍
转载:为了部落:NVMeoverFabric诞生记(协议细节及市场现状篇)前序文章阅读:《为了部落:NVMeoverFabric诞生记》《为了部落:NVMeoverFabric诞生记——
RDMA
篇》对于
亚历山大的陀螺
·
2019-05-16 15:51
阿里云POLARDB荣膺2019中国数据库年度最佳创新产品
通过高速的
RDMA
网络提供共享存储的架构,快速实现弹性缩扩容,
weixin_33950035
·
2019-05-15 08:14
如何通过网络遥测(Network Telemetry)技术实现精细化网络运维?
其次,基于
RDMA
(RemoteDirectMemoryAccess,远程直接内存访问)无损以太网技术的普遍应用,实现了计算节点到存储节点的微秒级时延,大大优化端到端的业务转发性能,而这也意味着对网络运维提出了更高的
webster8
·
2019-05-08 23:28
网络运维
网络
网络遥测
mellanox
RDMA
驱动源码下载以及编译安装
1、源码下载在官网根据服务器版本找到对应的.tar文件或者src源码包。旧版本在archiveversion里http://www.mellanox.com/page/software_overview_ib推荐下载.tar文件包,里面包含了src源码安装配置过程非常简单,如果版本号匹配且依赖关系正确,理论上是可以直接执行其中的./mlnxofedinstall来进行安装的,如果遇到报错,网上的教
Ampersand
·
2019-04-25 11:47
linux环境搭建
RoCE网络详解
随着网络融合概念的兴起,在IETF发布了的DCB(DataCenterBridging)标准中,基于
RDMA
/Infiniband的无损链路得以解决,以太网终于在专有网络领域内拥有了自己的标准,同时也提出了
北春南秋
·
2019-04-18 15:43
eRPC:Datacenter RPCs can be General and Fast
nsdi19CarnegieMellonUniversity简介作者提出现有的数据中心的软件都是通过牺牲通用性或高性能来获得另一个便利,例如
RDMA
牺牲了通用性实现了高性能。
JennyLQ
·
2019-04-17 10:31
RDMA
https://blog.csdn.net/qq_21125183/article/details/80563463在计算中,远程直接内存访问(
RDMA
)是从一台计算机的内存到另一台计算机的内存的直接内存访问
安安宝宝
·
2019-03-23 23:40
rdma
RDMA
概述
因为看了一个介绍说低延时,然后就很好奇的去搜了下是怎么做到的,就搜索到了
RDMA
技术背景面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用,现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求
知止9528
·
2019-02-10 23:12
tensorflow初探三之Tensorflow基本概念——Tensorflow技术解析与实战学习》笔记
网络通信层包括gRPC(googleRemoteProcedureCallProtocol)和远程直接数据存取(RemoteDirectMemoryAccess,
RDMA
),这都是在分布式计算时需要用到的
欠我的都给我吐出来
·
2019-01-29 15:36
RDMA
image.png1.什么是RDMARDMA(RemoteDirectMemoryAccess)是一种硬件IO技术,通过该技术可以直接访问网络中另一台计算机内存中的数据。将传输协议固化于硬件,同时使用内核旁路(kernelbypass)的零拷贝技术来达到最小化系统开销,极大的降低了延迟时间,并且使CPU的负载几乎为零。关键技术:kernelpass、zerocopy、硬件IO优点:延迟很低高吞吐、
YDDMAX_Y
·
2018-11-12 16:36
智能网卡概述
智能网卡研发的方向有两个,一是用于存储的,例如
RDMA
、ROCE;二是用于网络的,例如offload虚拟交换机的。目前mellanox主要做这些工作,大多数资料都可以去上面搜。
gangyewei
·
2018-09-24 20:07
云计算
面向云数据库,超低延迟文件系统PolarFS诞生了
PolarFS是一款具有超低延迟和高可用能力的分布式文件系统,其采用了轻量的用户空间网络和I/O栈构建,而弃用了对应的内核栈,目的是充分发挥
RDMA
和NVMeSSD等新兴硬件的潜力,极大地降低分布式非易失数据访问的端到端延迟
阿里云云栖社区
·
2018-09-04 00:00
文件系统
数据库
[
RDMA
]
RDMA
初步使用操作
因为iWARP和RoCE/IBoE设备是基于IP的设备,用户应在配置IPoIB且设备有IP地址后,按照执行
RDMA
测试操作一节的内容进行测试。
MasterT-J
·
2018-07-28 18:05
RDMA技术博客
高性能通信
RDMA
基于Java的
RDMA
高性能通信库(六):SDP - Java Socket Direct Protocol
目录1.Java网络编程和套接字API的历史2.InfiniBand高速网络通信技术3.Java网络协议栈API4.Java7SDP远程直接内存存取(
RDMA
)4.1Java7SDP实现原理4.2Java7SDP
MasterT-J
·
2018-07-21 14:18
RDMA技术博客
高性能通信
RDMA
RDMA
高性能通信
计算机
计算网络
大数据
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
阅读更多摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
猫耳呀
·
2018-05-30 16:00
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
原文链接:点击打开链接摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
qq_42154484
·
2018-05-24 13:44
VMware vSphere 6.7关键技术和新特性解析
扇区格式的HDD机械硬盘(4K磁盘详细信息参阅HDD磁盘,非4K无以致远和vSAN6.5解耦vSphere让存储更任性),但由于ESXi系统的原因直到vSphere6.7版本才支持原生4KN磁盘,同时支持
RDMA
架构师技术联盟
·
2018-05-03 00:00
windows server 2016 网络服务(八)
windowsServer2016AES和GCM,SHA512Hyper-V数据保存到SMB3.0以上的共享文件夹中功能SMB故障转移集群SMB横向扩展(CSV支持)SMB多通道SMB直连:要求网卡支持
RDMA
haitao0228
·
2018-04-20 09:31
服务器
Windows
Server
Windows
Server
RDMA
与传统网络通信(Socket)的区别
传统网络通信(Socket)在本地可以通过进程PID来唯一标识一个进程,但是在网络中这是行不通的。其实TCP/IP协议族已经帮我们解决了这个问题,网络层的“ip地址”可以唯一标识网络中的主机,而传输层的“协议+端口”可以唯一标识主机中的应用程序(进程)。这样利用三元组(ip地址,协议,端口)就可以标识网络的进程了,网络中的进程通信就可以利用这个标志与其它进程进行交互。使用TCP/IP协议的应用程序
酷炫人笨笨熊
·
2017-12-15 16:00
通信
RDMA
编程:事件通知机制
RDMA
通过kernel-bypass和协议栈offload两大核心技术,实现了远高于传统TCP/IP的网络通信性能。
异客z
·
2017-11-17 12:41
RoCE与
RDMA
技术
1、RoCERoCE(RDMAoverConvergedEthernet)是一种允许通过以太网使用远程直接内存访问(
RDMA
)的网络协议。
Heuristic_7
·
2017-10-09 21:07
设备
未来数据中心核心技术:
RDMA
在京东的应用
在研讨会上,大家针对目前很火的
RDMA
,高性能网络相关话题,展开深入讨论。特别是随着深度学习,云计算的兴起,网络对应用性能的影响引起了大家的关注。
CTOInsights
·
2017-09-08 18:56
CTO
学习笔记TF048:TensorFlow 系统架构、设计理念、编程模型、API、作用域、批标准化、神经元函数优化
网络通信层包括gRPC(googleRemoteProcedureCallProtocol)和远程直接数据存取(RemoteDirectMemoryAccess,
RDMA
),分布式计算需要。
利炳根
·
2017-08-20 09:05
精彩继续 1.Hyper-V 融合群集网络
所以加上了群集二字,之前很少看到国内有人写过这方面的博客,但是在国外从2012开始已经有不少人对这项新技术进行了尝试,到WindowsServer2016,ConvergedNetwork模型更是支援了
RDMA
老收藏家
·
2017-07-14 11:08
融合网络
Switch
Embedded
Team
Hyper-V
Converged
Ne
业务连续性
分布式架构理论篇
大型分布式系统原理概述分布式系统三要素CPU:处理器Memory:内存IO:外存MultiCore:多核心LocalDisk:本地磁盘Networker:网络,网络存储
RDMA
:远程内存直接访问NUMA
Tristan.L
·
2017-07-11 17:44
架构师成长之路
TensorFlow 1.2正式发布,新增Python 3.6支持
新增基于ibverbs的
RDMA
支持(远程直接数据存取)(由雅虎的junshi15贡献)。RNNCell现
我的微信公众号
·
2017-06-16 15:35
----Google
TensorFlow
运维工具之qperf
它可以工作在TCP/IP或者是
RDMA
之上。通常,一台作为服务器端只要开启qperf就可以,另一台作为客户端,在客户端进行带宽、延迟、CPU利用率等信息的测试。
PonusJang
·
2016-11-19 20:39
服务器
server
streaming
Linux
Glusterfs由
RDMA
切换到TCP
同时还支持
RDMA
协议挂载到客户端,大大降低延迟。但Infiniband网络使用成本毕竟高,所以当集群规模大了之后,可能就会考虑到进行网络转型,考虑使用传统的TCP25Gb或40Gb来取代。
xuensong520
·
2016-01-23 17:00
集群
网络
分布式文件系统
Glusterfs之rpc模块源码分析(下)之
RDMA
over TCP的协议栈工作过程浅析
声明:本文转至IT168:因为GlusterFS实现了IB网络(
RDMA
协议,专用硬件网卡支持),当时就在想普通的网卡能不能实现,就找到一篇这样的文章介绍,基于TCP协议来实现。!
·
2015-11-13 21:57
gluster
GlusterFS 正式推出,支持 OpenStack
GlusterFS 通过
RDMA
和 TCP/IP 方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统。
·
2015-11-13 18:42
openstack
PatentTips –
RDMA
data transfer in a virtual environment
BACKGROUND Embodiments of this invention relate to
RDMA
(remote direct memory access) data transfer
·
2015-11-13 12:16
Environment
RDMA
编程实例
1,
RDMA
verbs Multicast Code for Multicast Using
RDMA
_CM(Remote directory memory access_connect management
·
2015-11-13 02:35
编程
Accelio 代码笔记
项目概述 Accelio是一套支持
rdma
协议的通讯框架,并且允许扩展包含client和server,同时支持用户态和内核态。
·
2015-11-10 23:32
IO
OpenOnload NIC / InfiniBand
RDMA
OpenOnload is not really an alternative to TCP, it is a user level implementation of the TCP/IP stack which is able to transfer directly from user space to the NIC. This avoids the multiple memory cop
·
2015-10-31 19:35
onLoad
分布式文件系统GlusterFS
内部实现是整合了许多存储块(server)通过Infiniband
RDMA
或者 Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86主机,通过网络搭建起来。
·
2015-10-27 14:43
分布式文件系统
通过 SMB 直通优化文件服务器的性能
technet.microsoft.com/zh-cn/library/hh831487.aspx Windows Server 2012 内置新增功能,称为 SMB 直通,用来支持使用具有远程直接内存存取 (
RDMA
·
2015-10-27 11:41
服务器
accelio介绍和信息汇总
它当前通过对
RDMA
和TCP/IP的软件接口抽象,提供了一套xio接口。通过这个接口可以方便的使用
RDMA
并兼容已有的TCP网络。
名名是我
·
2015-10-14 11:34
RDMA相关技术
RDMA
技术分析
1什么是
RDMA
1.1传统意义上的DMA---直接内存访问(DMA)方式,是一种完全由硬件执行I/O交换的工作方式。
m635674608
·
2015-09-15 00:00
Java 7 SDP:一次编写,到处运行,有时还运行得超炫!
如果要对InfiniBand的远程直接内存存取(RemoteDirectMemoryAccess,
RDMA
)进行native访问,SDP就能让超高性能计算(UltraHighPerformanceComputing
m635674608
·
2015-09-15 00:00
glusterfs――volume管理
glustervolumecreateNAMEstripeSCOUNTreplicaRCOUNTtransportTYPE BRICKLISTNAME为volume的名字;SCOUNT,RCOUNT分别为stripe,replica的个数;transport为传输类型(tcp/
rdma
yangxuncai110
·
2015-08-13 13:18
start
create
gluster
transport
volume
stripe
glusterfs——volume管理
glustervolumecreateNAMEstripeSCOUNTreplicaRCOUNTtransportTYPEBRICKLISTNAME为volume的名字;SCOUNT,RCOUNT分别为stripe,replica的个数;transport为传输类型(tcp/
rdma
yangxuncai110
·
2015-08-13 13:18
volume
start
create
Cluster
Gluster File System 3.3.0 Admimistration Guide(Gluster File System 3.3.0 管理指南)-1
GlusterFileSystem是一种可伸缩的,在以太网和Infiniband
RDMA
上允许的网络文件系统。
koala_Mr
·
2015-08-12 15:17
GFS
GFS中文手册
GFS手册
GFS官方手册
GFS官方指南
[翻译,Java]Java 7 Socket Direct Protocol / SDP
WithJava7andSocketsDirectProtocol,JavaNowdoesRDMA(RemoteDirectMemoryAccess)有了SDP技术支持之后的Java7已经开始逐步实现
RDMA
Aimer1027
·
2015-06-19 11:00
java
7
InfiniBand
SDP
Conflicting CPU frequency values detected
ib_write_bw[root@storage2~]#ib_write_bw------------------------------------------------------------------
RDMA
_Wri
Thinker_mhy
·
2015-05-21 11:46
Linux
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他