DPDK安装配置(附脚本)及实例程序运行

去年曾经写过一篇在虚拟机里配置DPDK的文章,当时DPDK还没有支持ubuntu16.04,而且当时还不会shell编程,总体来说还是比较幼稚的。今天整理了一下写了这篇ubuntu16.04实体机下的DPDK配置博文。

DPDK是因特尔推出的数据平面开发组件,主要是提供了一个高效的用户态网卡驱动,改以往网卡驱动采用的中断方式,为绑定线程轮询网卡的高效模式,可以大幅提高吞吐率。

DPDK最新版的压缩包可以去官网下载,http://dpdk.org/download. 我这里用的环境是ubuntu16.04,DPDK版本是16.11.1
在安装DPDK之前我们需要安装另一个linux下另一个跟网络数据包相关的函数库——libpcap,命令行抓包软件tcpdump也是基于这个库实现的。

1.安装libpcap
去官网 http://www.tcpdump.org/#latest-releases 下载libpcap的压缩包。我下的是libpcap-1.8.1.
先安装依赖库m4、bison、flex:
sudo apt-get install sudo apt-get install m4 bison flex
在特权用户下,安装libpcap:
cd libpcap-1.8.1
./configure
make
make install
安装成功,但是后面安装DPDK的时候却提示找不到libpcap.so.1,因为libpcap.so.1默认安装到了/usr/local/lib下,我们做一个符号链接到/usr/lib/下即可。
sudo ln -s /usr/local/lib/libpcap.so.1 /usr/lib/libpcap.so.1

2.安装DPDK
将压缩包解压缩,按照下面的步骤安装:
注意,以下操作均需在内核态完成!!!直接su进入特权用户。
配置并编译DPDK,架构为64位x86linux系统,gcc编译
make config T=x86_64-native-linuxapp-gcc
sed -ri 's,(PMD_PCAP=).*,\1y,' build/.config
make

DPDK安装配置(附脚本)及实例程序运行_第1张图片

编译过程如上图所示,其中如果有错,多数是由于依赖项,安装上依赖项就可以了。

预配置大页存储,挂载了一个NUMA节点node0,最后一句命令的意思是在node0上预留了64个2MB的大页,即64*2048kB=128MB的内存
mkdir -p /mnt/huge
mount -t hugetlbfs nodev /mnt/huge
echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

查看网卡信息
ifconfig

DPDK安装配置(附脚本)及实例程序运行_第2张图片

从图中看出,两个网卡分别为enp3s0和wlp2s0。

加载模块和绑定网卡
ifconfig enp3s0 down//先把有线网卡关掉,不然下一步会报错的。
modprobe uio
insmod build/kmod/igb_uio.ko//插入uio和igb_uio模块
这一步有可能会报错,不能插入该模块,网上查原因是因为linux 4.3.X以后的内核机制造成的,需要重启电脑进入bios,关闭secure boot即可。

python tools/dpdk-devbind.py --bind=igb_uio enp3s0//绑定igb_uio驱动到enp3s0

重启网卡并查看状态
service network restart
ifconfig
python tools/dpdk-devbind.py --status

DPDK安装配置(附脚本)及实例程序运行_第3张图片

从图中可以看到0000:03:00.0网卡绑定的是igb_uio驱动,网卡绑定成功。

由于每次运行DPDK都需要分配大页和绑定网卡驱动,很麻烦,可以编写一个shell脚本,每次运行直接配置完成。
脚本内容如下:

#!/bin/bash
DEVICE="enp3s0"
DRIVER="igb_uio"

while getopts ":hd:r:" optname
do
  case "$optname" in
    "h")
      echo "   `basename ${0}`:usage:[-d device_name] [-r driver_name]"
      echo "   where device_name can be one in: {enp3s0,wlp2s0},driver_name can be one in: {igb_uio,rte_kni}"
      exit 1
      ;;
    "d")
      DEVICE=$OPTARG
      ;;
    "r")
      DRIVER=$OPTARG
      ;;
    *)
    # Should not occur
      echo "Unknown error while processing options"
      ;;
  esac
done

mkdir -p /mnt/huge
mount -t hugetlbfs nodev /mnt/huge
echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
ifconfig $DEVICE down
modprobe uio
insmod build/kmod/$DRIVER.ko
./tools/dpdk-devbind.py --bind=$DRIVER $DEVICE

另外,再写一个类似的反向的脚本,如果想要将网卡恢复正常驱动使用的时候可以恢复:

#!/bin/bash

DEVICE="0000:03:00.0"
DRIVER="alx"

while getopts ":hd:r:" optname
do
  case "$optname" in
    "h")
      echo "   `basename ${0}`:usage:[-d device_name] [-r driver_name]"
      echo "   where device_name can be one in: {0000:02:00.0,0000:03:00.0},driver_name can be one in: {alx,iwlwifi}"
      exit 1
      ;;
    "d")
      DEVICE=$OPTARG
      ;;
    "r")
      DRIVER=$OPTARG
      ;;
    *)
    # Should not occur
      echo "Unknown error while processing options"
      ;;
  esac
done

./tools/dpdk-devbind.py --bind=$DRIVER $DEVICE

上面的网卡分别是enp3s0和wlp2s0,它们自身的驱动分别是alx和iwlwifi,根据实际修改。另外DPDK有些网卡是不支持的,需要去官网查看哪些网卡不支持。

运行如下图:

配置

恢复

运行示例程序:
注意!!!该示例程序配置的时候不要绑定网卡,不然会报错找不到设备,就是说只需要照常配置页大小和载入模块,就是不要绑定网卡就好。
./build/app/testpmd -c 7 -n 3 --vdev=eth_pcap0,iface=enp3s0 --vdev=eth_pcap1,iface=enp3s0 -- -i --nb-cores=2 --nb-ports=2 --total-num-mbufs=2048
//参数分别为-c <核数,二进制表示,7即111,三个核> -n<存储通道数> –vdev<虚拟设备名,自己给发包网卡起的名字>,iface<真实设备id> – 端口数,buff数

运行截图:

DPDK安装配置(附脚本)及实例程序运行_第4张图片

在testpmd输入start开始转发流

DPDK安装配置(附脚本)及实例程序运行_第5张图片

输入stop,停止并显示这期间的流量。quit退出程序。

你可能感兴趣的:(专业)