DPDK 网络加速在 NFV 中的应用

目录

文章目录

• 目录
• 前文列表
• 传统内核协议栈的数据转发性能瓶颈是什么？
• DPDK
• DPDK 基本技术
  • DPDK 架构
  • DPDK 核心组件
  • 应用 NUMA 亲和性技术减少跨 NUMA 内存访问
  • 应用 CPU 绑核技术减少上下文切换损耗
  • 应用大页内存技术减少 TLB miss
  • 应用 PMD 轮询技术减少网卡外设的硬件中断
  • 应用 UIO 和内存池技术减少内存拷贝
  • 应用无锁循环队列较少锁操作对 CPU 的开销
• DPDK 优化技术
  • DPDK 性能影响因素
    • 硬件结构的影响
    • OS 版本及其内核的影响
    • OVS 性能问题
    • 内存管理
    • CPU 核间无锁通信
    • 设置正确的目标 CPU 类型与模式
  • 优化方案
• DPDK 在 NFV 中的应用
• 参考文章

前文列表

《OpenStack Nova 高性能虚拟机之 NUMA 架构亲和》
《OpenStack Nova 高性能虚拟机之 CPU 绑定》
《OpenStack Nova 高性能虚拟机之大页内存》
《多进程、多线程与多处理器计算平台的性能问题》
《计算机组成原理 — 存储系统》
《计算机组成原理 — 输入输出系统》
《计算机组成原理 — 总线系统》
《Linux 的零拷贝技术》
《数据包从物理网卡流经 Open vSwitch 进入 OpenStack 云主机的流程》

传统内核协议栈的数据转发性能瓶颈是什么？

在 x86 结构中，处理数据包的传统方式是 CPU 中断方式，即网卡驱动接收到数据包后通过中断通知 CPU 处理，然后由 CPU 拷贝数据并交给内核协议栈。在数据量大时，这种方式会产生大量 CPU 中断，导致 CPU 无法运行其他程序。

传统内核协议栈的数据转发流程：

传统内核协议栈的数据转发性能瓶颈有：

• 硬件中断导致的线程/进程切换：硬件中断请求会抢占优先级较低的软件中断，频繁到达的硬件中断和软中断意味着频繁的线程切换，随着而来的就是运行模式切换、上下文切换、线程调度器负载、高速缓存缺失（Cache Missing）、多核缓存共享数据同步、竞争锁等一系列的 CPU 性能损耗。
• 内存拷贝：网卡驱动位于内核态，网络驱动接收到的数据包后会经过内核协议栈的处理，然后再拷贝到处于用户态的应用层缓冲区，这样的数据拷贝是很耗时间的。据统计，这个拷贝的时间会占数据包处理流程时间的 57.1%。
• 多处理器平台的 CPU 漂移：一个数据包可能中断在 CPU0，内核态处理在 CPU1，用户态处理在 CPU2，这样跨多个物理核（Core）的处理，导致了大量的 CPU Cache Miss，造成局部性失效。如果是 NUMA 架构，还会出现跨 NUMA remote access Memory 的情况，这些都极大地影响了 CPU 性能。
• 缓存失效：传统服务器大多采用页式虚拟存储器，内存页默认为 4K 的小页，所以在存储空间较大的处理机上会存在大量的页面映射条目。同时因为 TLB 缓存空间有限，最终导致了 TLB 快表的映射条目频繁变更，产生大量的快页表 Cache Miss。

与之对应的优化方案为：

• 使用 NUMA 亲和：避免 CPU 跨 NUMA 访问内存。
• 使用 CPU 绑