【重识云原生】第四章云网络4.7.5节vDPA方案——virtio的半硬件虚拟化实现

5 virtio的半硬件卸载方案

        Virtio作为一种半虚拟化的解决方案，其性能一直不如设备的pass-through，即将物理设备（通常是网卡的VF）直接分配给虚拟机，其优点在于数据平面是在虚拟机与硬件之间直通的，几乎不需要主机的干预。而virtio的发展，虽然带来了性能的提升，可终究无法达到pass-through的I/O性能，始终需要主机（主要是软件交换机）的干预。vDPA(vhost Data Path Acceleration)即是让virtio数据平面不需主机干预的解决方案。该框架由Redhat提出，实现了virtio数据平面的硬件卸载。控制平面仍然采用原来的控制平面协议，当控制信息被传递到硬件中，硬件完成数据平面的配置之后，数据通信过程由硬件设备（智能网卡）完成，虚拟机与网卡之间直通。中断信息也由网卡直接发送至虚拟机不需要主机的干预。这种方式，控制面比较复杂，硬件难以实现。

        在硬件vDPA架构中，通过OVS转发的流量首包依然由主机上的OVS转发平面处理，对应数据流的后续报文由硬件网卡直接转发。

        从下图中可以看到virtio的控制平面仍需要vDPA driver进行传递，也就是说QEMU，或者虚拟机仍然使用原先的控制平面协议作为接口，而这些控制信息被传递到硬件中，硬件会通过这些信息配置好数据平面。而数据平面上，经过配置后的数据平面可以在虚拟机和网卡之间直通。

        鉴于现在后端的数据处理其实完全在硬件中，原先的前后端通知方式也可以几乎完全规避主机的干预，以中断为例，原先中断必须由主机处理，主机通过软件交换机得知中断的目的地之后，将虚拟中断注入到虚拟机中，而在vDPA中，网卡可以直接将中断发送到虚拟机中。总体来看，vDPA的数据平面与SR-IOV设备直通的数据平面非常接近，并且在性能数据上也能达到后者的水准。更重要的是vDPA框架保有virtio这套标准的接口，使云服务提供商在不改变virtio接口的前提下，得到更高的性能。

        需要注意的是，vDPA框架中利用到的硬件必须至少支持virtio ring的标准，否则可想而知，硬件是无法与前端进行正确通信的。另外，原先软件交换机提供的交换功能，也转而在硬件中实现。

​

        为了解决高性能SRIOV网络的热迁移问题，出现了很多做法和尝试，尚未形成统一的标准。在Redhat提出硬件vDPA架构之前，Mellanox实现了软件vDPA（即VF Relay）。理论上讲，Mellanox的软件vDPA并不能算是vDPA，其实就是将数据在用户空间的virtio队列和VF的接收队列做了一次数据Relay。Redhat提出的硬件vDPA架构，目前在DPDK和内核程序中均有实现，基本是未来的标准架构。Qemu支持两种方式的vDPA，一种是vhost-user，配合DPDK中的vDPA运行，DPDK再调用厂商用户态vDPA驱动；另一种方式是vhost-vdpa，通过ioctl调用到内核通用vDPA模块，通用vDPA模块再调用厂商硬件专有的vDPA驱动。

        1) 软件vDPA: 软件vDPA也叫VF relay，由于需要软件把VF上接收的数据通过virtio转发给虚拟机（VM），如Mellanox在OVS-DPDK实现了这个relay，OVS流表由硬件卸载加速，性能上与SR-IOV VF直通（passthrough）方式比略有降低，不过实现了虚拟机（VM）的热迁移特性。

        2) 硬件vDPA: 硬件vDPA实际上是借助virtio硬件加速，以实现更高性能的通信。由于控制面复杂，所以用硬件难以实现。厂商自己开发驱动，对接到用户空间DPDK的vDPA和内核vDPA架构上，可以实现硬件vDPA。目前Mellanox mlx5和Intel IFC对应的vDPA适配程序都已经合入到DPDK和kernel社区源码。

​

        在硬件vDPA场景下，通过OVS转发的流量首包依然由主机上的OVS转发平面处理，对应数据流的后续报文由硬件网卡直接转发。

        后来在Bluefield-2上，由于集成了ARM核，所以NVIDIA在与UCloud的合作中，将OVS的控制面也完全卸载到网卡到ARM核上，这样主机上就可以将OVS完全卸载到网卡上。

 参考链接

dpdk对虚拟化的支持调研 - allcloud - 博客园

DPDK系列之十二：基于virtio、vhost和OVS-DPDK的容器数据通道_cloudvtech的博客-CSDN博客_dpdk容器化

DPDK系列之六：qemu-kvm网络后端的加速技术_cloudvtech的博客-CSDN博客_kvm加速

DPDK系列之十五：Virtio技术分析之一，virtio基础架构_cloudvtech的博客-CSDN博客_virtio

从dpdk1811看virtio1.1 的实现—packed ring-lvyilong316-ChinaUnix博客

Qemu模拟IO和半虚拟化Virtio的区别以及I/O半虚拟化驱动介绍_weixin_34051201的博客-CSDN博客

virtio-net - 网络半虚拟化 - 知乎

DPU和CPU互联的接口之争：Virtio还是SR-IOV？ - 极术社区 - 连接开发者与智能计算生态

virtio简介（一）—— 框架分析 - Edver - 博客园

KVM之Virtio介绍 （十五） - 程序员大本营

虚拟化之Virtio-Net基础篇-51CTO.COM

KVM 虚拟化详解 - 知乎

Linux Kernel Vhost 架构 - 于杨 - 博客园

virtio,vhost 和vhost-user - allcloud - 博客园

Virtio网络的演化之路 - 云+社区 - 腾讯云

详解vhost-user协议及其在OVS DPDK、QEMU和virtio-net驱动中的实现_redwingz的博客-CSDN博客_vhost协议

  

 《重识云原生系列》专题索引： 

1. 第一章——不谋全局不足以谋一域
2. 第二章计算第1节——计算虚拟化技术总述
3. 第三章云存储第1节——分布式云存储总述
4. 第四章云网络第一节——云网络技术发展简述
5. 第四章云网络4.2节——相关基础知识准备
6. 第四章云网络4.3节——重要网络协议
7. 第四章云网络4.3.1节——路由技术简述
8. 第四章云网络4.3.2节——VLAN技术
9. 第四章云网络4.3.3节——RIP协议
10. 第四章云网络4.3.4节——OSPF协议
11. 第四章云网络4.3.5节——EIGRP协议
12. 第四章云网络4.3.6节——IS-IS协议
13. 第四章云网络4.3.7节——BGP协议
14. 第四章云网络4.3.7.2节——BGP协议概述
15. 第四章云网络4.3.7.3节——BGP协议实现原理
16. 第四章云网络4.3.7.4节——高级特性
17. 第四章云网络4.3.7.5节——实操
18. 第四章云网络4.3.7.6节——MP-BGP协议
19. 第四章云网络4.3.8节——策略路由
20. 第四章云网络4.3.9节——Graceful Restart(平滑重启)技术
21. 第四章云网络4.3.10节——VXLAN技术
22. 第四章云网络4.3.10.2节——VXLAN Overlay网络方案设计
23. 第四章云网络4.3.10.3节——VXLAN隧道机制
24. 第四章云网络4.3.10.4节——VXLAN报文转发过程
25. 第四章云网络4.3.10.5节——VXlan组网架构
26. 第四章云网络4.3.10.6节——VXLAN应用部署方案
27. 第四章云网络4.4节——Spine-Leaf网络架构
28. 第四章云网络4.5节——大二层网络
29. 第四章云网络4.6节——Underlay 和 Overlay概念
30. 第四章云网络4.7.1节——网络虚拟化与卸载加速技术的演进简述
31. 第四章云网络4.7.2节——virtio网络半虚拟化简介
32. 第四章云网络4.7.3节——Vhost-net方案
33. 第四章云网络4.7.4节vhost-user方案——virtio的DPDK卸载方案
34. 第四章云网络4.7.5节vDPA方案——virtio的半硬件虚拟化实现
35. 第四章云网络4.7.6节——virtio-blk存储虚拟化方案
36. 第四章云网络4.7.8节——SR-IOV方案
37. 第四章云网络4.7.9节——NFV
38. 第四章云网络4.8.1节——SDN总述
39. 第四章云网络4.8.2.1节——OpenFlow概述
40. 第四章云网络4.8.2.2节——OpenFlow协议详解
41. 第四章云网络4.8.2.3节——OpenFlow运行机制
42. 第四章云网络4.8.3.1节——Open vSwitch简介
43. 第四章云网络4.8.3.2节——Open vSwitch工作原理详解
44. 第四章云网络4.8.4节——OpenStack与SDN的集成
45. 第四章云网络4.8.5节——OpenDayLight
46. 第四章云网络4.8.6节——Dragonflow