DPU&RDMA

一线攻城狮实战经验：RDMA，好用却又很难用？

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读技术书单大全：书单导航页（点击右侧小资源即可打开个人博客）：技术书栈=====>>【Java大牛带你入门到进阶之路】>【Java大牛带你入门到进阶之路】<<====天下没有不劳而获的果实，望各位年轻的朋友，想学技术的朋友，在决心扎入技术道路的路上披荆斩棘，把书弄懂了，再去敲代码，把原理弄懂了，再去实践，将会带给你
JKX_geek·2020-07-04 06:52

详解RDMA(远程直接内存访问)架构原理

接下来我们继续讨论RDMA技术、原理和优势，看完文章你就会发现为什么RDMA可以更好的解决这一系列问题。RDMA是一种
胜佑·2020-06-30 18:23

学习笔记TF065:TensorFlowOnSpark

TensorFlowOnSpark，利用远程直接内存访问(RemoteDirectMemoryAccess,RDMA)解决存储功能和调度，实现深度学习和大数据融合。
利炳根·2020-06-30 13:16

分布式技术点和技术趋势

RDMA、HTAP、用户空间文件系统以及底层高性能硬件的引入必然是未来的技术趋势1）容器化技术：容器化不是一个革命性想法，容器技术已经存在很多年并且被大量应用程序所使用，将数据库容器化是DBA架构师越来越关注的一个技术趋势
光@·2020-06-30 06:42

Mellanox RoCE卡调试笔记

拿到3块mellanox的XC3卡，装到3个服务器上，开始RDMA调试。代码都是我自己的，使用rdma_cm库进行开发。
winux·2020-06-29 18:01

字节跳动开源分布式训练框架BytePS

转载的文章如下：字节跳动开源了通用分布式训练框架BytePS，这个框架支持TensorFlow、Keras、PyTorch、MXNet，可以运行在TCP或RDMA网络中。
dinxin横刀一笑·2020-06-27 01:22

精选架构技术文章和总结来袭

笔者通过总结、归类和细化公众号历史原创文章，并梳理成电子书，电子书打包的目录如下:《RDMA原理分析、对比和技术实现解析》《数据备份和副本管理技术全面解析》《容器技术架构、网络和生态详解》《闪存技术、产品和发展趋势全面解析
Hardy晗狄·2020-06-26 16:17

李嘉璇 TensorFlow技术解析与实战 第四章笔记 TensorFlow基础知识

网络通信层包括gRPC（googleRemoteProcedureCallProtocol）和远程直接数据存取（RemoteDirectMemoryAccess，RDMA），这都是在分布式计算时需要用到的
猫人尼塔33·2020-06-24 23:27

nfiniband网卡安装、使用总结

1.基础知识首先，得了解什么是RDMA，贴几个资料：深入浅出全面解析RDMARDMA技术详解（一）：RDMA概述RDMA技术详解（二）：RDMASendReceive操作然后得了解如何实现，这两个可以有个初步了解
山河故人abin·2020-06-22 22:00

分布式持久内存文件系统Octopus（ATC-17 ）分析（一）

Octopus是一个基于持久内存NVM和远程直接内存访问RDMA技术的分布式内存文件系统。清华的陆游游老师现已将代码开源，可点击此处阅读。这一工作中的是ATC-17（CCFA类），可点击此处阅读论文。
Meditator_hkx·2020-06-22 01:47

分布式持久内存文件系统Octopus（ATC-17 ）分析（五）

Octopus是一个基于持久内存NVM和远程直接内存访问RDMA技术的分布式内存文件系统。清华的陆游游老师现已将代码开源，可点击此处阅
Meditator_hkx·2020-06-22 01:16

分布式持久内存文件系统Octopus（ATC-17 ）分析（三）

Octopus是一个基于持久内存NVM和远程直接内存访问RDMA技术的分布式内存文
Meditator_hkx·2020-06-22 01:16

分布式持久内存文件系统Octopus（ATC-17 ）分析（四）

Octopus是一个基于持久内存NVM和远程直接内存访问RDMA技
Meditator_hkx·2020-06-22 01:16

RDMA高性能网络的优势和实践

随着数据的爆炸式增长，各个领域对计算机硬件的处理能力有了更高的要求。相比于CPU和GPU等计算设备的快速发展，传统的以太网领域发展明显滞后并逐渐成为性能瓶颈。大量产品线都希望改善网络性能，通过使用更高带宽，更低延迟的网络来提升业务能力。对于奋战在一线的我厂攻城师来说，常常会有这样的感受:为什么发送数据要花这么长时间？为什么计算能力这么牛的服务器老是要长时间等待网络传输完成？为什么网络能明目张胆的拖
架构师技术联盟·2020-06-21 17:33

[精华] RDMA技术原理分析、主流实现对比和解析

RDMA技术最早出现在Infiniband网络，用于HPC高性能计算集群的互联。传统的基于Socket套接字(TCP/IP协议栈)的网络通信，需要经过操作系统软件协议
架构师技术联盟·2020-06-21 17:32

避坑指南：关于SPDK问题分析过程

【前言】这是一次充满曲折与反转的问题分析，资料很少，代码很多，经验很少，概念很多，当内核态，用户态，DIF，LBA，大页内存，SGL，RDMA，NVME和SSD一起迎面而来的时候，问题是单点的意外，还是群体的无奈
华为云开发者社区·2020-06-20 20:51

【华为云技术分享】避坑指南：关于SPDK问题分析过程

【前言】这是一次充满曲折与反转的问题分析，资料很少，代码很多，经验很少，概念很多，当内核态，用户态，DIF，LBA，大页内存，SGL，RDMA，NVME和SSD一起迎面而来的时候，问题是单点的意外，还是群体的无奈
华为云·2020-06-20 20:05

避坑指南：关于SPDK问题分析过程

【前言】这是一次充满曲折与反转的问题分析，资料很少，代码很多，经验很少，概念很多，当内核态，用户态，DIF，LBA，大页内存，SGL，RDMA，NVME和SSD一起迎面而来的时候，问题是单点的意外，还是群体的无奈
华为云开发者社区·2020-06-10 11:00

名词解释

RDMA（RemoteDirectMemoryAccess）一种允许网络中计算机在内存中交换数据的技术，交换过程中不引入处理器、cache、或者操作系统。
Stansosleepy·2020-04-07 01:18

简谈以太网RDMA网卡的应用

各式各样的数据在网络介质中通过网络协议(如TCP/IP)进行传输时，如果信息量过大而不加以限制的话，那么超额的网络流量就会导致设备反应缓慢，由此就造成了网络延迟。延迟越低越好，效率越高越好，这不仅仅是数据中心网络的要求，我们平常使用的内部网络同样也希望如此。当前的网络速度有万兆、2.5万兆、4万兆，甚至10万兆、20万兆……的趋势都已经来了，网络带宽似乎已经不是主要的瓶颈了，而服务器系统和CPU本
wx5a28aa070a47f·2020-03-24 09:58

Revisiting Network Support for RDMA

重新审视RDMA的网络支持本文为SIGCOMM2018会议论文。笔者翻译了该论文。由于时间仓促，且笔者英文能力有限，错误之处在所难免；欢迎读者批评指正。本文及翻译版本仅用于学习使用。
二进制研究员·2020-03-20 21:31

qperf 使用

可以在测试tcp/ip协议和RDMA传输。相比netperf和iperf，1.支持RDMA是qperf工具的独有特性。
杰子_39bf·2020-03-04 19:59

面向云数据库，超低延迟文件系统PolarFS诞生了

PolarFS是一款具有超低延迟和高可用能力的分布式文件系统，其采用了轻量的用户空间网络和I／O栈构建，而弃用了对应的内核栈，目的是充分发挥RDMA和NVMeSSD等新兴硬件的潜力，极大地降低分布式非易失数据访问的端到端延迟
阿里云云栖号·2020-02-28 12:31

重新定义数据库的时刻，阿里云数据库专家带你了解POLARDB

摘要：POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库，其最大的特色是计算节点与存储节点分离，借助优秀的RDMA网络以及最新的块存储技术。
猫耳呀·2020-02-21 04:52

阿里云PolarDB及其共享存储PolarFS技术实现分析（上）

MySQL推出的云原生数据库（CloudNativeDatabase）产品，通过将数据库中计算和存储分离，多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题；通过引入RDMA
网易云社区·2020-02-19 17:17

A letter for NW RDMA configuration

Dear:IfyouhavetouseEMCNWNDMAtobackuporacledatabaseandwanttoseewhathappenwhenbackupfailed.Youcanusethiswauanddonotdothatway.LetuseXXXasanexample:nsrdasv-z/nsr/apps/config/nmda_oracle_XXX.cfgInthatconfi
怕提神·2020-02-16 20:00

阿里云PolarDB及其共享存储PolarFS技术实现分析（上）

MySQL推出的云原生数据库（CloudNativeDatabase）产品，通过将数据库中计算和存储分离，多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题；通过引入RDMA
yijian2595·2020-02-16 14:36

深度学习工业界应用-加速-训练-MPI和RDMA

一.MPI要解决的问题MPI是一门比较老的技术，在高性能计算界(特别是成熟的科学计算软件中)几乎是标配，其对高性能通信(特别是rdma)优化较好。特定于机器学习任务，MPI最大的优势有两点。
skywalker·2020-02-07 09:48

阿里云 ESSD 采用自研新一代存储网络协议，打造“超级高速”

随着AIoT时代的到来，所有数据都要求实时采集、传输、计算，传统TCP和RDMA网络都无法完美适配云时代的存储需求。ES
阿里云云栖号·2020-02-05 01:20

UCloud高性能RoCE网络设计

为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。
UCloud官方小助手·2020-01-17 20:32

UCloud高性能RoCE网络设计

为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。
UCloud_TShare·2020-01-17 16:56

GFS分布式文件存储系统（理论）

GlusterFS概述GlusterFS简介•开源的分布式文件系统•由存储服务器，客户端以及NFS/Samba存储网关组成•无元数据服务器RDMA:负责数据传输GlusterFS的特点•扩展性和高性能•
wx5d2c2d660c282·2019-12-26 08:11

GFS分布式文件系统集群

GFS分布式文件系统集群GlusterFS概述GlusterFS简介开源的分布式文件系统由存储服务器，客户端以及NFS/Samba存储网关组成无元数据服务器RDMA:负责数据传输GlusterFS的特点扩展性和高性能高可用性全局统一的命名空间弹性卷管理基于标准协议
wx5d3a7feeb53cc·2019-12-24 18:26

TensorFlowOnSpark架构设计

其设计思路像是将一个TensorFlow集群运行在了Spark上，其在每个SparkExecutor中启动TensorFlow应用程序，然后通过gRPC或RDMA方式进行数
九七学姐·2019-12-24 07:35

[中英对照] Introduction to RDMA Send

WhatisRDMA|什么是RDMA图1.1RDMAisRemoteDirectMemoryAccesswhichisawayofmovingbuffer
idorax·2019-12-23 15:37

GFS分布式文件系统集群（理论）

GlusterFS概述1、GlusterFS简介（1）开源的分布式文件系统（2）由存储服务器、客户端以及NFS/Samba存储网关组成（3）无元数据服务器（数据传输组件RDMA）（4）GlusterFS
不甘平凡※·2019-12-22 15:15

GFS分布式文件系统集群——理论

GFS分布式文件系统集群GlusterFS概述GlusterFS简介开源的分布式文件系统由存储服务器，客户端以及NFS/Samba存储网关组成无元数据服务器RDMA:负责数据传输GlusterFS的特点扩展性和高性能高可用性全局统一的命名空间弹性卷管理基于标准协议
南·殇·2019-12-18 15:08

大数据学习路线图知识点解析

GlusterFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。Ceph
千锋IJava·2019-12-10 14:34

SPDK (part 4, arch stuff, TBD)

之前先记录理解几个基本概念：RDMA（RemoteDirectMemoryAcess）：两个关键词hostoffload，hostbypass的，是一种应用内存互访技术，下图是当前支持RDMA的网络协议或者说是载体
拖鞋花短裤·2019-12-07 19:02

从0开始的InfiniBand硬件踩坑过程

在此将博主从0到RDMA的实践过程做一个总结，以避免大家在做此类研究的时踩坑、浪费时间。1.首先准备了Mellanox的网卡（博主使用的是ConnectX-3354A）插到Pice*8的槽上，用I
Freedom314·2019-12-06 16:00

每天3分钟操作系统修炼秘籍（14）：IO操作和DMA、RDMA

点我查看秘籍连载I/O操作和DMA、RDMA用户进程想要执行IO操作时（例如想要读磁盘数据、向磁盘写数据、读键盘的输入等等），由于用户进程工作在用户模式下，它没有执行这些操作的权限，只能通过发起对应的系统调用请求操作系统帮忙完成这些操作
骏马金龙·2019-11-17 10:00

深入理解SPDK之八：性能优化

永远保持高队列深度对于NVMESSD和RDMA这种基于completionqueue/submittionqueue硬件机制的设备，就应该根据硬件队列执行的特性，始终保持队列中有物理队列深度这么多的请求在跑
存储之厨·2019-08-27 23:13

阿里云 ESSD 采用自研新一代存储网络协议，打造“超级高速”

随着AIoT时代的到来，所有数据都要求实时采集、传输、计算，传统TCP和RDMA网络都无法完美适配云时代的存储需求。ES
阿里云云栖社区·2019-08-27 00:00

RoCE网络中的QoS功能

RDMA在NIC内部实现传输
北春南秋·2019-06-06 10:18

NVMe over Fabric 介绍

转载：为了部落：NVMeoverFabric诞生记（协议细节及市场现状篇）前序文章阅读：《为了部落：NVMeoverFabric诞生记》《为了部落：NVMeoverFabric诞生记——RDMA篇》对于
亚历山大的陀螺·2019-05-16 15:51

阿里云POLARDB荣膺2019中国数据库年度最佳创新产品

通过高速的RDMA网络提供共享存储的架构，快速实现弹性缩扩容，
weixin_33950035·2019-05-15 08:14

如何通过网络遥测（Network Telemetry）技术实现精细化网络运维？

其次，基于RDMA（RemoteDirectMemoryAccess，远程直接内存访问）无损以太网技术的普遍应用，实现了计算节点到存储节点的微秒级时延，大大优化端到端的业务转发性能，而这也意味着对网络运维提出了更高的
webster8·2019-05-08 23:28

mellanox RDMA驱动源码下载以及编译安装

1、源码下载在官网根据服务器版本找到对应的.tar文件或者src源码包。旧版本在archiveversion里http://www.mellanox.com/page/software_overview_ib推荐下载.tar文件包，里面包含了src源码安装配置过程非常简单，如果版本号匹配且依赖关系正确，理论上是可以直接执行其中的./mlnxofedinstall来进行安装的，如果遇到报错，网上的教
Ampersand·2019-04-25 11:47

RoCE网络详解

随着网络融合概念的兴起，在IETF发布了的DCB(DataCenterBridging)标准中，基于RDMA/Infiniband的无损链路得以解决，以太网终于在专有网络领域内拥有了自己的标准，同时也提出了
北春南秋·2019-04-18 15:43

eRPC:Datacenter RPCs can be General and Fast

nsdi19CarnegieMellonUniversity简介作者提出现有的数据中心的软件都是通过牺牲通用性或高性能来获得另一个便利，例如RDMA牺牲了通用性实现了高性能。
JennyLQ·2019-04-17 10:31
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他