E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
rdma
面向云数据库,超低延迟文件系统PolarFS诞生了
PolarFS是一款具有超低延迟和高可用能力的分布式文件系统,其采用了轻量的用户空间网络和I/O栈构建,而弃用了对应的内核栈,目的是充分发挥
RDMA
和NVMeSSD等新兴硬件的潜力,极大地降低分布式非易失数据访问的端到端延迟
阿里云云栖号
·
2020-02-28 12:31
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
猫耳呀
·
2020-02-21 04:52
阿里云PolarDB及其共享存储PolarFS技术实现分析(上)
MySQL推出的云原生数据库(CloudNativeDatabase)产品,通过将数据库中计算和存储分离,多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题;通过引入
RDMA
网易云社区
·
2020-02-19 17:17
A letter for NW
RDMA
configuration
Dear:IfyouhavetouseEMCNWNDMAtobackuporacledatabaseandwanttoseewhathappenwhenbackupfailed.Youcanusethiswauanddonotdothatway.LetuseXXXasanexample:nsrdasv-z/nsr/apps/config/nmda_oracle_XXX.cfgInthatconfi
怕提神
·
2020-02-16 20:00
阿里云PolarDB及其共享存储PolarFS技术实现分析(上)
MySQL推出的云原生数据库(CloudNativeDatabase)产品,通过将数据库中计算和存储分离,多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题;通过引入
RDMA
yijian2595
·
2020-02-16 14:36
深度学习工业界应用-加速-训练-MPI和
RDMA
一.MPI要解决的问题MPI是一门比较老的技术,在高性能计算界(特别是成熟的科学计算软件中)几乎是标配,其对高性能通信(特别是
rdma
)优化较好。特定于机器学习任务,MPI最大的优势有两点。
skywalker
·
2020-02-07 09:48
阿里云 ESSD 采用自研新一代存储网络协议,打造“超级高速”
随着AIoT时代的到来,所有数据都要求实时采集、传输、计算,传统TCP和
RDMA
网络都无法完美适配云时代的存储需求。ES
阿里云云栖号
·
2020-02-05 01:20
UCloud高性能RoCE网络设计
为此,我们设计了低开销高性能的RoCE网络,构建了低时延、无损的大型以太网数据中心,作为
RDMA
等技术的底层基石,也为UCloud未来的物理网络建设打下了良好基础。
UCloud官方小助手
·
2020-01-17 20:32
云计算
服务器
集群
ucloud
云主机
UCloud高性能RoCE网络设计
为此,我们设计了低开销高性能的RoCE网络,构建了低时延、无损的大型以太网数据中心,作为
RDMA
等技术的底层基石,也为UCloud未来的物理网络建设打下了良好基础。
UCloud_TShare
·
2020-01-17 16:56
云服务
云平台
服务器集群
技术干货
GFS分布式文件存储系统(理论)
GlusterFS概述GlusterFS简介•开源的分布式文件系统•由存储服务器,客户端以及NFS/Samba存储网关组成•无元数据服务器
RDMA
:负责数据传输GlusterFS的特点•扩展性和高性能•
wx5d2c2d660c282
·
2019-12-26 08:11
GFS
GFS分布式文件系统集群
GFS分布式文件系统集群GlusterFS概述GlusterFS简介开源的分布式文件系统由存储服务器,客户端以及NFS/Samba存储网关组成无元数据服务器
RDMA
:负责数据传输GlusterFS的特点扩展性和高性能高可用性全局统一的命名空间弹性卷管理基于标准协议
wx5d3a7feeb53cc
·
2019-12-24 18:26
GFS
TensorFlowOnSpark架构设计
其设计思路像是将一个TensorFlow集群运行在了Spark上,其在每个SparkExecutor中启动TensorFlow应用程序,然后通过gRPC或
RDMA
方式进行数
九七学姐
·
2019-12-24 07:35
[中英对照] Introduction to
RDMA
Send
WhatisRDMA|什么是
RDMA
图1.1RDMAisRemoteDirectMemoryAccesswhichisawayofmovingbuffer
idorax
·
2019-12-23 15:37
GFS分布式文件系统集群(理论)
GlusterFS概述1、GlusterFS简介(1)开源的分布式文件系统(2)由存储服务器、客户端以及NFS/Samba存储网关组成(3)无元数据服务器(数据传输组件
RDMA
)(4)GlusterFS
不甘平凡※
·
2019-12-22 15:15
虚拟化
GFS分布式文件系统集群——理论
GFS分布式文件系统集群GlusterFS概述GlusterFS简介开源的分布式文件系统由存储服务器,客户端以及NFS/Samba存储网关组成无元数据服务器
RDMA
:负责数据传输GlusterFS的特点扩展性和高性能高可用性全局统一的命名空间弹性卷管理基于标准协议
南·殇
·
2019-12-18 15:08
群集
gfs
分布式
大数据学习路线图知识点解析
GlusterFS通过
RDMA
和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。Ceph
千锋IJava
·
2019-12-10 14:34
大数据学习路线
SPDK (part 4, arch stuff, TBD)
之前先记录理解几个基本概念:
RDMA
(RemoteDirectMemoryAcess):两个关键词hostoffload,hostbypass的,是一种应用内存互访技术,下图是当前支持
RDMA
的网络协议或者说是载体
拖鞋花短裤
·
2019-12-07 19:02
从0开始的InfiniBand硬件踩坑过程
在此将博主从0到
RDMA
的实践过程做一个总结,以避免大家在做此类研究的时踩坑、浪费时间。1.首先准备了Mellanox的网卡(博主使用的是ConnectX-3354A)插到Pice*8的槽上,用I
Freedom314
·
2019-12-06 16:00
每天3分钟操作系统修炼秘籍(14):IO操作和DMA、
RDMA
点我查看秘籍连载I/O操作和DMA、
RDMA
用户进程想要执行IO操作时(例如想要读磁盘数据、向磁盘写数据、读键盘的输入等等),由于用户进程工作在用户模式下,它没有执行这些操作的权限,只能通过发起对应的系统调用请求操作系统帮忙完成这些操作
骏马金龙
·
2019-11-17 10:00
深入理解SPDK之八:性能优化
永远保持高队列深度对于NVMESSD和
RDMA
这种基于completionqueue/submittionqueue硬件机制的设备,就应该根据硬件队列执行的特性,始终保持队列中有物理队列深度这么多的请求在跑
存储之厨
·
2019-08-27 23:13
SPDK
Linux
性能优化
存储相关
阿里云 ESSD 采用自研新一代存储网络协议,打造“超级高速”
随着AIoT时代的到来,所有数据都要求实时采集、传输、计算,传统TCP和
RDMA
网络都无法完美适配云时代的存储需求。ES
阿里云云栖社区
·
2019-08-27 00:00
存储过程
分布式
物联网
数据仓库
高并发
RoCE网络中的QoS功能
RDMA
在NIC内部实现传输
北春南秋
·
2019-06-06 10:18
NVMe over Fabric 介绍
转载:为了部落:NVMeoverFabric诞生记(协议细节及市场现状篇)前序文章阅读:《为了部落:NVMeoverFabric诞生记》《为了部落:NVMeoverFabric诞生记——
RDMA
篇》对于
亚历山大的陀螺
·
2019-05-16 15:51
阿里云POLARDB荣膺2019中国数据库年度最佳创新产品
通过高速的
RDMA
网络提供共享存储的架构,快速实现弹性缩扩容,
weixin_33950035
·
2019-05-15 08:14
如何通过网络遥测(Network Telemetry)技术实现精细化网络运维?
其次,基于
RDMA
(RemoteDirectMemoryAccess,远程直接内存访问)无损以太网技术的普遍应用,实现了计算节点到存储节点的微秒级时延,大大优化端到端的业务转发性能,而这也意味着对网络运维提出了更高的
webster8
·
2019-05-08 23:28
网络运维
网络
网络遥测
mellanox
RDMA
驱动源码下载以及编译安装
1、源码下载在官网根据服务器版本找到对应的.tar文件或者src源码包。旧版本在archiveversion里http://www.mellanox.com/page/software_overview_ib推荐下载.tar文件包,里面包含了src源码安装配置过程非常简单,如果版本号匹配且依赖关系正确,理论上是可以直接执行其中的./mlnxofedinstall来进行安装的,如果遇到报错,网上的教
Ampersand
·
2019-04-25 11:47
linux环境搭建
RoCE网络详解
随着网络融合概念的兴起,在IETF发布了的DCB(DataCenterBridging)标准中,基于
RDMA
/Infiniband的无损链路得以解决,以太网终于在专有网络领域内拥有了自己的标准,同时也提出了
北春南秋
·
2019-04-18 15:43
eRPC:Datacenter RPCs can be General and Fast
nsdi19CarnegieMellonUniversity简介作者提出现有的数据中心的软件都是通过牺牲通用性或高性能来获得另一个便利,例如
RDMA
牺牲了通用性实现了高性能。
JennyLQ
·
2019-04-17 10:31
RDMA
https://blog.csdn.net/qq_21125183/article/details/80563463在计算中,远程直接内存访问(
RDMA
)是从一台计算机的内存到另一台计算机的内存的直接内存访问
安安宝宝
·
2019-03-23 23:40
rdma
RDMA
概述
因为看了一个介绍说低延时,然后就很好奇的去搜了下是怎么做到的,就搜索到了
RDMA
技术背景面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用,现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求
知止9528
·
2019-02-10 23:12
tensorflow初探三之Tensorflow基本概念——Tensorflow技术解析与实战学习》笔记
网络通信层包括gRPC(googleRemoteProcedureCallProtocol)和远程直接数据存取(RemoteDirectMemoryAccess,
RDMA
),这都是在分布式计算时需要用到的
欠我的都给我吐出来
·
2019-01-29 15:36
RDMA
image.png1.什么是RDMARDMA(RemoteDirectMemoryAccess)是一种硬件IO技术,通过该技术可以直接访问网络中另一台计算机内存中的数据。将传输协议固化于硬件,同时使用内核旁路(kernelbypass)的零拷贝技术来达到最小化系统开销,极大的降低了延迟时间,并且使CPU的负载几乎为零。关键技术:kernelpass、zerocopy、硬件IO优点:延迟很低高吞吐、
YDDMAX_Y
·
2018-11-12 16:36
智能网卡概述
智能网卡研发的方向有两个,一是用于存储的,例如
RDMA
、ROCE;二是用于网络的,例如offload虚拟交换机的。目前mellanox主要做这些工作,大多数资料都可以去上面搜。
gangyewei
·
2018-09-24 20:07
云计算
面向云数据库,超低延迟文件系统PolarFS诞生了
PolarFS是一款具有超低延迟和高可用能力的分布式文件系统,其采用了轻量的用户空间网络和I/O栈构建,而弃用了对应的内核栈,目的是充分发挥
RDMA
和NVMeSSD等新兴硬件的潜力,极大地降低分布式非易失数据访问的端到端延迟
阿里云云栖社区
·
2018-09-04 00:00
文件系统
数据库
[
RDMA
]
RDMA
初步使用操作
因为iWARP和RoCE/IBoE设备是基于IP的设备,用户应在配置IPoIB且设备有IP地址后,按照执行
RDMA
测试操作一节的内容进行测试。
MasterT-J
·
2018-07-28 18:05
RDMA技术博客
高性能通信
RDMA
基于Java的
RDMA
高性能通信库(六):SDP - Java Socket Direct Protocol
目录1.Java网络编程和套接字API的历史2.InfiniBand高速网络通信技术3.Java网络协议栈API4.Java7SDP远程直接内存存取(
RDMA
)4.1Java7SDP实现原理4.2Java7SDP
MasterT-J
·
2018-07-21 14:18
RDMA技术博客
高性能通信
RDMA
RDMA
高性能通信
计算机
计算网络
大数据
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
阅读更多摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
猫耳呀
·
2018-05-30 16:00
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
原文链接:点击打开链接摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
qq_42154484
·
2018-05-24 13:44
VMware vSphere 6.7关键技术和新特性解析
扇区格式的HDD机械硬盘(4K磁盘详细信息参阅HDD磁盘,非4K无以致远和vSAN6.5解耦vSphere让存储更任性),但由于ESXi系统的原因直到vSphere6.7版本才支持原生4KN磁盘,同时支持
RDMA
架构师技术联盟
·
2018-05-03 00:00
windows server 2016 网络服务(八)
windowsServer2016AES和GCM,SHA512Hyper-V数据保存到SMB3.0以上的共享文件夹中功能SMB故障转移集群SMB横向扩展(CSV支持)SMB多通道SMB直连:要求网卡支持
RDMA
haitao0228
·
2018-04-20 09:31
服务器
Windows
Server
Windows
Server
RDMA
与传统网络通信(Socket)的区别
传统网络通信(Socket)在本地可以通过进程PID来唯一标识一个进程,但是在网络中这是行不通的。其实TCP/IP协议族已经帮我们解决了这个问题,网络层的“ip地址”可以唯一标识网络中的主机,而传输层的“协议+端口”可以唯一标识主机中的应用程序(进程)。这样利用三元组(ip地址,协议,端口)就可以标识网络的进程了,网络中的进程通信就可以利用这个标志与其它进程进行交互。使用TCP/IP协议的应用程序
酷炫人笨笨熊
·
2017-12-15 16:00
通信
RDMA
编程:事件通知机制
RDMA
通过kernel-bypass和协议栈offload两大核心技术,实现了远高于传统TCP/IP的网络通信性能。
异客z
·
2017-11-17 12:41
RoCE与
RDMA
技术
1、RoCERoCE(RDMAoverConvergedEthernet)是一种允许通过以太网使用远程直接内存访问(
RDMA
)的网络协议。
Heuristic_7
·
2017-10-09 21:07
设备
未来数据中心核心技术:
RDMA
在京东的应用
在研讨会上,大家针对目前很火的
RDMA
,高性能网络相关话题,展开深入讨论。特别是随着深度学习,云计算的兴起,网络对应用性能的影响引起了大家的关注。
CTOInsights
·
2017-09-08 18:56
CTO
学习笔记TF048:TensorFlow 系统架构、设计理念、编程模型、API、作用域、批标准化、神经元函数优化
网络通信层包括gRPC(googleRemoteProcedureCallProtocol)和远程直接数据存取(RemoteDirectMemoryAccess,
RDMA
),分布式计算需要。
利炳根
·
2017-08-20 09:05
精彩继续 1.Hyper-V 融合群集网络
所以加上了群集二字,之前很少看到国内有人写过这方面的博客,但是在国外从2012开始已经有不少人对这项新技术进行了尝试,到WindowsServer2016,ConvergedNetwork模型更是支援了
RDMA
老收藏家
·
2017-07-14 11:08
融合网络
Switch
Embedded
Team
Hyper-V
Converged
Ne
业务连续性
分布式架构理论篇
大型分布式系统原理概述分布式系统三要素CPU:处理器Memory:内存IO:外存MultiCore:多核心LocalDisk:本地磁盘Networker:网络,网络存储
RDMA
:远程内存直接访问NUMA
Tristan.L
·
2017-07-11 17:44
架构师成长之路
TensorFlow 1.2正式发布,新增Python 3.6支持
新增基于ibverbs的
RDMA
支持(远程直接数据存取)(由雅虎的junshi15贡献)。RNNCell现
我的微信公众号
·
2017-06-16 15:35
----Google
TensorFlow
运维工具之qperf
它可以工作在TCP/IP或者是
RDMA
之上。通常,一台作为服务器端只要开启qperf就可以,另一台作为客户端,在客户端进行带宽、延迟、CPU利用率等信息的测试。
PonusJang
·
2016-11-19 20:39
服务器
server
streaming
Linux
Glusterfs由
RDMA
切换到TCP
同时还支持
RDMA
协议挂载到客户端,大大降低延迟。但Infiniband网络使用成本毕竟高,所以当集群规模大了之后,可能就会考虑到进行网络转型,考虑使用传统的TCP25Gb或40Gb来取代。
xuensong520
·
2016-01-23 17:00
集群
网络
分布式文件系统
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他