DPDK 网络加速在 NFV 中的应用

目录

文章目录

  • 目录
  • 前文列表
  • 传统内核协议栈的数据转发性能瓶颈是什么?
  • DPDK
  • DPDK 基本技术
    • DPDK 架构
    • DPDK 核心组件
    • 应用 NUMA 亲和性技术减少跨 NUMA 内存访问
    • 应用 CPU 绑核技术减少上下文切换损耗
    • 应用大页内存技术减少 TLB miss
    • 应用 PMD 轮询技术减少网卡外设的硬件中断
    • 应用 UIO 和内存池技术减少内存拷贝
    • 应用无锁循环队列较少锁操作对 CPU 的开销
  • DPDK 优化技术
    • DPDK 性能影响因素
      • 硬件结构的影响
      • OS 版本及其内核的影响
      • OVS 性能问题
      • 内存管理
      • CPU 核间无锁通信
      • 设置正确的目标 CPU 类型与模式
    • 优化方案
  • DPDK 在 NFV 中的应用
  • 参考文章

前文列表

《OpenStack Nova 高性能虚拟机之 NUMA 架构亲和》
《OpenStack Nova 高性能虚拟机之 CPU 绑定》
《OpenStack Nova 高性能虚拟机之大页内存》
《多进程、多线程与多处理器计算平台的性能问题》
《计算机组成原理 — 存储系统》
《计算机组成原理 — 输入输出系统》
《计算机组成原理 — 总线系统》
《Linux 的零拷贝技术》
《数据包从物理网卡流经 Open vSwitch 进入 OpenStack 云主机的流程》

传统内核协议栈的数据转发性能瓶颈是什么?

在 x86 结构中,处理数据包的传统方式是 CPU 中断方式,即网卡驱动接收到数据包后通过中断通知 CPU 处理,然后由 CPU 拷贝数据并交给内核协议栈。在数据量大时,这种方式会产生大量 CPU 中断,导致 CPU 无法运行其他程序。

传统内核协议栈的数据转发流程
在这里插入图片描述
传统内核协议栈的数据转发性能瓶颈有

  • 硬件中断导致的线程/进程切换:硬件中断请求会抢占优先级较低的软件中断,频繁到达的硬件中断和软中断意味着频繁的线程切换,随着而来的就是运行模式切换、上下文切换、线程调度器负载、高速缓存缺失(Cache Missing)、多核缓存共享数据同步、竞争锁等一系列的 CPU 性能损耗。
  • 内存拷贝:网卡驱动位于内核态,网络驱动接收到的数据包后会经过内核协议栈的处理,然后再拷贝到处于用户态的应用层缓冲区,这样的数据拷贝是很耗时间的。据统计,这个拷贝的时间会占数据包处理流程时间的 57.1%。
  • 多处理器平台的 CPU 漂移:一个数据包可能中断在 CPU0,内核态处理在 CPU1,用户态处理在 CPU2,这样跨多个物理核(Core)的处理,导致了大量的 CPU Cache Miss,造成局部性失效。如果是 NUMA 架构,还会出现跨 NUMA remote access Memory 的情况,这些都极大地影响了 CPU 性能。
  • 缓存失效:传统服务器大多采用页式虚拟存储器,内存页默认为 4K 的小页,所以在存储空间较大的处理机上会存在大量的页面映射条目。同时因为 TLB 缓存空间有限,最终导致了 TLB 快表的映射条目频繁变更,产生大量的快页表 Cache Miss。

与之对应的优化方案为

  • 使用 NUMA 亲和:避免 CPU 跨 NUMA 访问内存。
  • 使用 CPU 绑

你可能感兴趣的:(linux,tcp/ip,c++,虚拟机,dpdk)