关于dpdk

DPDK是X86平台报文快速处理的库和驱动的集合,大多数情况下运行在linux的用户态空间,目前最新版本1.5.0可以到官方网站dpdk.org下载。

DPDK不是网络协议栈,不提供二层,3层转发功能,不具备防火墙ACL功能,但通过DPDK可以轻松的开发出上述功能,具体可参考实例 application examples are included。

What it is

Intel® DPDK is a set of libraries and drivers for fast packet processing on x86 platforms. It runs mostly in Linux userland.

This project tracks the Intel® DPDK and includes all major public contributions. The most recent patches and enhancements, provided by the community, are available inbranch 1.5.0.

Main libraries

  • multicore framework
  • huge page memory
  • ring buffers
  • poll-mode drivers

Usage

These libraries can be used to:

  • receive and send packets within the minimum number of CPU cycles (usually less than 80 cycles)
  • develop fast packet capture algorithms (tcpdump-like)
  • run third-party fast path stacks

For example, some packet processing functions have been benchmarked up to 160 Mfps (million frames per second, using 64-byte packets) with a PCIe Gen-2 NIC.

What it's not

Intel® DPDK is not a networking stack and does not provide functions such as Layer-3 forwarding, IPsec, firewalling, ACL, etc. Within the tree, however, variousapplication examples are included to help with the development of such features.

If you need some specific drivers or networking stacks, you should contact a company that provides such extensions.


附:http://blog.csdn.net/linzhaolover?viewmode=contents


著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:大头
链接:https://www.zhihu.com/question/27413080/answer/43510345
来源:知乎

首先,DPDK和内核网络协议栈不是对等的概念。
DPDK只是单纯的从驱动拿数据,然后组织成数据块给人用,跑在用户态。功能相当于linux的设备无关接口层,处于socket之下,驱动之上。只不过linux协议栈的这部分在核心态。
你说的包处理器,很多时候是不用linux内核协议栈的,而是用专用包处理程序,类似于DPDK加上层应用处理。通常会有些硬件加速器,包处理效率更高些。缺点是一旦用不上某些功能,那些加速器就白费了。而纯软件处理就非常灵活,不过代价就是功耗和性能。

纯DPDK性能非常高,intel自己给出的数据是,处理一个包80时钟周期。一个3.6Ghz的单核双线程至强,64字节小包,纯转发能力超过90Mpps,也就是每秒9千万包。
不知你有没有看出来,80周期是一个非常惊人的数字?正常情况下,处理器访问一下ddr3内存都需要200个周期,而包处理程序所需要操作的数据,是从pcie设备送到ddr内存的,然后再由处理器读出来,也就是说,通常至少需要200周期。为啥现在80周期就能完成所有处理?我查了下文档,发现原因是使用了stashing或者叫direct cache access技术,对于PCIe网卡发过来的包,会存在一个特殊字段。x86的pcie控制器看到这个字段后,会把包头自动塞到处理器的缓存,无序处理器来干预。由于包头肯定是会被读取的,这样相当于提前预测,访问的时间大大缩短。

如果加上linux socket协议栈,比如跑个纯http包反弹,那么根据我的测量,会掉到3000-4000周期处理一个包,单核双线程在2.4Mpps,每秒两百四十万包,性能差40倍。

性能高在哪?关键一点,DPDK并没有做socket层的协议处理,当然快。其他的,主要是使用轮询替代中断,还有避免核心态到用户态拷贝,并绑定核,避免线程切换开销,还有避免进入系统调用的开销,使用巨页等。
还有很关键的一点,当线程数大于12的时候,使用linux协议栈会遇到互斥的瓶颈,用性能工具看的话,你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket,改写内核协议栈,使包始终在一个核上处理,避免竞争等。缺点是需要经常自己改协议栈,且应用程序兼容性不够。
另外一个方法是使用虚拟机,每个特征流只在一个核处理,并用虚拟机隔绝竞争,底层用dpdk做转发,上层用虚拟机做包处理,这样保证了原生的linux协议栈被调用,做到完全兼容应用程序。不过这种方法好像还没有人做成开源的,最近似的是dpdk+虚拟交换机ovs的一个项目。
如果你只想要dpdk的高性能加tcp/ip/udp的处理,不考虑兼容性,那么还可以去买商业代码,我看了下供应商的网站介绍,纯转发性能大概在500-1000周期左右一个包。



你可能感兴趣的:(openstack)