SPDK

【io_uring】简介和使用

相比Linux在2.6版本引入的AIO，io_uring性能强很多，接近SPDK[1]，同时支持bufferIOio_uring的作者JensAxboe是Linux内核块层和其他块设备的维护者，同时也是
ywang_wnlo·2024-09-11 16:25

【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2024-02-13 12:00

高性能异步io机制：io_uring

相比起用户态的DPDK、SPDK，io_uring作为内核的一部分，通过mmap的方式实现用户和内核共享内存，并基于memorybarrier在这块内存上实现了两个无锁环形队列：submissionqueuering
linux大本营·2024-02-07 15:51

spdk技术原理简介和实践经验

一、导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。由于NVMe-ssd的性能比传统磁盘介质高出很多，使得在整个IO处理过程中，软件部分占用的时间比例大大提升，成为制约存储系统性能的主要因素。为了充分发挥后端NVMe-ssd的性能，intel开发出了存储性能开发工具
大隐隐于野·2024-01-31 16:14

TCP延时测试对比：端到端SPDK的意义

前不久看到一篇《NVIDIABlueField再创DPU性能世界纪录》的新闻，该测试环境是2台服务器，每台各安装2块NVIDIABluefield-2DPU，形成4条100GbE以太网直连，两端分别跑NVMe-oFTarget（存储目标）和Initiator（主机端）。测试结果包括TCP和RoCE（RDMA）两部分，上图是第一部分。我们看到，用户态SPDKtoSPDK的512Byte小块读测试达到
大隐隐于野·2024-01-12 18:07

【SPDK】【NoF】使用SPDK实现NVMe over Fabrics Target

首先使用SoftRoCE来实现底层的rdma传输，然后使用SPDK来实现NVMeoverFabricsTarget。
大隐隐于野·2024-01-12 18:06

【SPDK】【NoF】使用SPDK部署NVMe over TCP

SPDKNVMeoverFabricsTarget是一个用户空间应用程序，通过以太网，Infiniband或光纤通道等结构呈现块设备,SPDK目前支持RDMA和TCP传输。
大隐隐于野·2024-01-10 08:38

【重识云原生】第六章容器6.4.4节——ReplicaSet组件

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-12-29 08:27

SPDK优化数据库经验

美团SPDK优化https://blog.csdn.net/weixin_37097605/article/details/114052086TIDB+SPDKhttps://zhuanlan.zhihu.com
年更yao·2023-12-15 07:12

自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线

数字化时代的到来带来了大规模数据的产生，各行各业都面临着数据爆炸的挑战。随着云计算、物联网、人工智能等新兴技术的发展，对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。存储技术专家成长路线技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。
攻城狮百里·2023-12-15 07:09

NVMe over Fabrics with SPDK with iRDMA总结 - 1

1.0Introduction简介NVMExpress*(NVMe*)drivesarehigh-speed,low-latency,solid-statedrives(SSDs),thatconnectovertheserverPeripheralComponentInterconnectExpress*(PCIe*)bus.NVMExpress*(NVMe*)硬盘是高速、低延迟的固态硬盘(SS
mounter625·2023-12-15 01:02

【重识云原生】第六章容器基础6.4.7.2节——CronJob

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-11-27 07:50

【重识云原生】第六章容器基础6.4.10.5节——Statefulset原理剖析

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-11-25 06:53

利用SPDK改善NVMe存储I/O性能

长期以来，SATA、SAS盘统治着企业级存储，虽然前些年SSD固态存储介质的出现对AHCI协议类型的存储访问带来了一定性能提升，但与CPU的计算速度相比，只能是杯水车薪，并且SSD的性能也不能充分地得到发挥。传统存储技术也由于访问路径长、时延大和吞吐量低而越发不能满足“大数据”存储的需求，并且饱受诟病。近几年推出的NVMe技术以PCIe作为SSD的访问接口，极大地缩短了I/O的访问路径，同时NVM
大隐隐于野·2023-11-08 06:33

spdk用户态块层详解

先通过回顾内核态的通用块层来详细介绍SPDK通用块层，包括通用块层的架构、核心数据结构、数据流方面的考量等。
大隐隐于野·2023-11-08 06:56

【重识云原生】第六章容器6.1.10节——DockerFile解析

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-11-05 05:49

【重识云原生】第六章容器6.1.3节——Docker常用命令

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-11-05 05:48

Linux开源存储全栈详解:从Ceph到容器存储

Linux开源存储世界的细致的拓扑，从存储硬件、Linux存储堆栈、存储加速、存储安全、存储管理、分布式存储、云存储等各个角度与层次展开讨论，同时对处于主导地位的、较为流行的开源存储项目进行阐述，包括SPDK
DPDK技术员·2023-11-02 21:19

【重识云原生】第六章容器基础6.4.10.1节——StatefulSet概述

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-11-01 08:02

存储性能测试

硬件模拟virtio-blk引擎的性能测试启动SNAP，并创建NULLbDev：aliasspdk_rpc.py=‘spdk_rpc.py-s
漂亮的丑小鸭丫·2023-10-30 18:51

SPDK概览

女主宣言：SPDK是Intel针对NVMeSSD开源的高性能存储框架，它能够减低IO路径上软件栈所占用的耗时占比，从而尽可能发挥出硬件设备的性能。
ZVAyIVqt0UFji·2023-10-28 02:06

SPDK集成rocksdb问题：open error: Invalid argument: Compression type Snappy is not linked with the

问题描述vagrant@vagrant:~/rocksdb$执行以下语句的时候，./db_bench首先是会提示你去安装gflags,然后我去安装完gflags之后再执行出现如题所示的错误，这是因为相关的安装包没有安装，vagrant@vagrant:~/rocksdb$./db_benchInitializingRocksDBOptionsfromthespecifiedfileInitiali
饿狗007·2023-10-16 06:57

2020-01-15

采购计划5年；硬件加速需要交换机做对应更改；iscacy稳定性，性能可以，故障切换不大好；ubantun近期软件能力提升：spdkqemu实现一个设备驱动，qemu负责virtio初始化，vhost模式，spdk
DSJ巡山·2023-10-15 22:29

详解DPDK技术知识点

为了让更多读者比较全面了解DPDK技术，笔者整理了“详解DPDK和SPDK技术知识点”资料，目录介绍如下所示：1、DPDK背景介绍12、DP
DPDK技术员·2023-10-15 17:40

io_uring原理

它以高效率、适用面广碾压aioio_uring可以访问directio、bufferio和网络IO它的性能近乎原生的内存操作在磁盘访问方面，媲美spdk在网络访问方面，以多倍的优势超越epollAIO存在的问题只能访问
谭英智·2023-10-14 18:37

dpdk/spdk/网络协议栈/存储/网关开发/网络安全/虚拟化/ 0vS/TRex/dpvs技术专家成长体系教程

课程围绕安全，网络，存储，云原生4个维度去讲解核心技术点。6个专栏组成：dpdk网络专栏、存储技术专栏、安全与网关开发专栏、虚拟化与云原生专栏、测试工具专栏、性能测试专栏一、dpdk网络dpdk基础知识多队列网卡，vmxnet/e1000igb_uio与vfio模块kni模块hugepage的理解零拷贝dpdk与netmap区别dpdk的工作环境网络协议栈dpdk-arp.netsh静态arp表设
攻城狮百里·2023-10-14 18:21

【重识云原生】第六章容器6.1.5节——Docker核心技术Namespace

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-10-14 05:08

SPDK的块设备抽象层，从一个简单的示例程序讲起

最早的SPDK仅仅是一个NVMe驱动，但现在的SPDK已经不是原来的SPDK了，其功能涵盖了整个存储栈。
数据存储张·2023-09-28 11:22

ceph 代码分析 读_BlueStore源码分析之BlockDevice

除此之外，还引入了支持NVME的spdk，完全通过用户态操作NVME磁盘，提升IOPS缩短延迟。目前Ceph进一步的工作计划是基于Se
马汝为·2023-09-25 15:18

安装配置SPDK

SPDK需要DPDK的支持本文操作参考2021-03-04SPDK安装指南也感谢gitee库的拥有者https://gitee.com/piter-zhang/projects下载SPDKgitclonehttps
克莱默申克·2023-09-21 14:10

用户级协议和框架：DPDK、SPDK和VPP的业务场景和发展趋势

本文将介绍三个重要的用户级协议和框架：DPDK（DataPlaneDevelopmentKit）、SPDK（StoragePerformanceDev
统信软件技术有限公司·2023-09-12 23:12

从PCRE到Hyperscan

文章转载自DPDK与SPDK开源社区Hyperscan作为高性能的正则表达式匹配库，使用者通常乐意将其与传统的正则表达式匹配库进行比较。“为什么要用Hyperscan？”
明翼·2023-08-23 22:40

PCIe | 基础知识点扫盲

持续更新中…Update:2023/3/23PCIe|基础知识点扫盲总览总线，PCI和PCIe总线PCIPCIe发展连接PCIe特点带宽SATA寻址示例网卡设备绑定与解绑异常处理I/O存储设备spdk绑定与解绑
MissMango0820·2023-08-19 12:28

基于SPDK-vhost的云原生Kubevirt虚拟化存储IO的优化方案

摘要本文主要介绍针对云原生kubernetes虚拟化IO的应用场景，在Kubevirt中引入SPDK-vhost的支持，来加速虚机中IO存储性能。
weixin_37097605·2023-07-25 03:03

DPDK&SPDK中的内存管理

引言DPDK的一大特点是使用大页（hugepage）进行内存管理，相比4KB页管理，使用大页可以减少页表大小，节省开销以及降低TLBmiss的概率，从而提升应用访问内存的效率。在此基础上，DPDK主要实现了无锁队列ring，内存池mempool，内存堆heap来进行内存的分配和回收。DPDK内存管理开启大页DPDK在非ARM平台上，最多支持三种尺寸（MAX_HUGEPAGE_SIZES=3）的大页
lizhongwen1987·2023-07-17 21:10

基于DOAS文件系统接口(DFS)暴露的SPDK块设备

整体架构步骤编译daos,记录daos安装目录,比如/opt/daos,启动daos_agent,daos_engine,daos_server编译spdkgitclonehttps://github.com/spdk
ssbandjl·2023-06-23 11:42

龙蜥白皮书精选：利用 io_uring 提升数据库系统性能

文/高性能存储SIG01背景介绍传统的IO软件栈已经无法完全释放出高性能存储设备的性能，高性能IO栈是当前存储领域重点研究的课题之一，代表性的如用户态方案SPDK，以及标准的内核态方案io_uring。
·2023-06-20 10:25

FS技术总结

单机FIO测试1.1配置FS环境1.2配置LinuxNVMeoverFabrics主机1.3FIO通过配置文件运行1.4双机+双fio测试1.5fio测试2.优化代码2.1程序运行细节3.性能测试3.1spdk
ws468·2023-06-11 21:29

spdk记录

spdk记录hello_bdev命令行参数示例函数文档摘录往期文章：spdk环境搭建hello_bdev代码路径：examples/bdev/hello_world/hello_bdev.c可执行文件路径
最佳损友1020·2023-06-10 05:57

初识SPDK，从SPDK的软件架构到使用实操

相信很多做存储的同学都听说过SPDK，它是Intel开发的一套开源存储栈。
数据存储张·2023-06-10 02:54

在 Rainbond 上使用 Curve 云原生存储

CurveBS的核心应用场景主要包括：虚拟机/容器的性能型、混合型、容量型云盘或持久化卷，以及物理机的远程存储盘高性能存算分离架构：基于RDMA+SPDK的高性能低时延架构，支撑MySQL、kafka等各类数据库
·2023-06-09 10:27

spdk使用vhost-user实现虚拟机磁盘访问的c代码

以下是一个使用SPDK和vhost-user实现虚拟机磁盘访问的C代码案例。
Yttsam·2023-04-20 22:10

spdk环境搭建

SPDK环境搭建运行环境源码拉取编译增加虚拟盘，运行样例本来21年就写了这篇博客，但因为在博客中放了vmware的密钥，违规了，最近正好又要用到spdk，就重新搭建一下spdk，简单改一下博客再发一遍运行环境
最佳损友1020·2023-04-17 00:40

【重识云原生】第六章容器基础6.4.10.3节——StatefulSet实操案例-部署WordPress 和 MySQL

第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第2节——SPDK
江中散人·2023-04-11 00:19

SPDK nvmf with rbd bdev 命名空间修改方案

**本文主要介绍如何调整nvmf的命令空间**一、架构介绍图1spdknvmeoftarget架构图从图1可以看出，整个架构分成两部分，一部分为SPDK提供的NVMeoFTarget端，一部分是主机侧NVMEoFInitiator
xiaocaolu·2023-04-10 22:01

QEMU热迁移中的VHOST-USER-NVME连接问题

之前耗了一段时间做SPDK下的vhost-user-nvme的开发，就是让VM内使用NVME存储。
lingshengxiyou·2023-04-10 22:24

nvmf代码分析

nvmf_ctrlr_cmd_connect_nvmf_ctrlr_connectnvmf_ctrlr_create_nvmf_ctrlr_add_io_qpair3、自动发现nvme_fabric_ctrlr_discovernvmf_get_discovery_log_page4、执行命令spdk_nvmf
我也要当昏君·2023-04-06 14:45

NVMf RPC接口文件 nvmf_rpc.c

NVMfRPC接口文件nvmf_rpc.c在spdk的lib/nvmf/下的NVMfRPC接口文件nvmf_rpc.c是干啥的？
我也要当昏君·2023-04-06 14:15

Intel VMD技术和SPDK VMD驱动模块介绍及使用

IntelVMD技术介绍VMD:VolumeManagementDevice英特尔®VMD（卷管理设备）是针对下一代存储推出的部署方案。这套方案支持从PCIe总线对NVMe固态盘进行热升级和更换，而无需关闭系统，同时标准化LED管理可帮助更快速地识别固态盘状态。NVMe固态盘响应速度更快的原因之一是因为这种类型的盘更接近英特尔处理器上的PCIe总线。在线运维这些固态盘需要系统内核的中断服务处理。借
DPDK技术员·2023-04-06 12:14

干货分享 | spdk技术简介和一些实践经验

01导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。由于NVMe-ssd的性能比传统磁盘介质高出很多，使得在整个IO处理过程中，软件部分占用的时间比例大大提升，成为制约存储系统性能的主要因素。为了充分发挥后端NVMe-ssd的性能，intel开发出了存储性能开发工具
DPDK技术员·2023-04-06 12:44
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他