centos7.3环境编译安装pktgen-dpdk，dpdk工具
- 概述
- 编译环境
- 编译DPDK
- 编译Pktgen-dpdk
- Debug
概述
DPDK（Date Plane Development Kit）主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
pktgen-dpdk：一种网络流量收集器，pktgen有单独的版本。这里pktgen-dpdk是集成了DPDK。能够加快网卡的收发包，主要用于测量各种场景下二三层网络性能。
该文档说明如何在centos操作系统上编译安装dpdk和pktgen-dpdk。该方法可适用于centos其他版本，但针对安装包不同和编译环境不同可能会导致编译不成功，如遇到编译问题本文档Debug部分给出解决思路可供参考。
编译环境
操作系统：CentOS Linux release 7.5.1804 (Core)
内核版本：3.10.0-693.21.1.el7.x86_64
GCC编译器版本：gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC)
实验虚拟机配置：4core 8G内存
注意事项：
1.在pktgen-dpdk的官网上建议在编译dpdk前最好将gcc的版本升级到4.9以上，但是实测在gcc的4.8.5版本可以编译成。如果遇到GCC编译器的问题考虑将GCC的版本进行升级。
2.pktgen-dpdk官网建议在编译前最好安装kernel-devel，kernel-header，kernel.x86_64包。
3.pktgen-dpdk官网建议在编译前安装libcap和libcap-devel包。
编译DPDK
安装环境依赖
考虑到上节的注意事项，我们需要在DPDK安装之前现在环境中进行将必要的依赖包进行更新。（博主心声：能够用yum源安装更新的决不优先使用源码包来安装。因为这些依赖包通过源码编译如果产生了新的依赖，那么编译DPDK将会成为遥遥无期的事情。）这里给出两种依赖包的安装方式。第一种方式精确一些，第二种方式简单粗暴，各有好处。
方式一：
yum makecache;
yum install -y gcc gcc-c++ kernel-devel kernel-headers kernel.x86_64 net-tools
yum install -y numactl-devel.x86_64 numactl-libs.x86_64
yum install -y pciutils
yum install kernel-devel-$(uname -r)
方式二：
yum install -y gcc*
yum install -y kernel*
yum install -y numactl*
yum install -y pciutils
yum install -y net-tools
yum install -y readline*
yum install -y epel-release
yum install -y libpcap-devel
yum install -y lua*
yum install -y git*
设置大页内存
DPDK的使用必须要使用到大页内存，所以这里可以事先设置好。
检查大页内存是否开启：
#grep -i huge /boot/config-2.6.35-24-generic
CONFIG_HUGETLBFS=y
CONFIG_HUGETLB_PAGE=y
设置大页：
#echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
#mkdir /mnt/huge
#chmod 777 /mnt/huge
#vim /etc/fstab
在fstab中最后一行添加如下，是指能够开机自动挂载
nodev /mnt/huge hugetlbfs defaults 0 0
检查大页内存是否生效：
#grep -i huge /proc/meminfo
HugePages_Total: 128
HugePages_Free: 128
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
编译安装DPDK
下载DPDK
：
这里因为是直接下载的最新版，所以直接用git下载，如果有特殊需，可以在dpdk.org官网下载对应的源码包编译安装，或者通过git来选择对应的分支来选择下载。
#git clone git://dpdk.org/dpdk
设置环境变量
临时设置环境变量：
#export RTE_SDK=/root/dpdk-18.08
#export RTE_TARGET=x86_64-native-linuxapp-gcc
设置永久环境变量：（考虑到之后要便宜pktgen-dpdk，这里推荐将环境变量设置添加到profile中）
#vim /etc/profile
在该文件最后加入
export RTE_SDK="/root/dpdk-18.08"
export RTE_TARGET="x86_64-native-linuxapp-gcc"
#source /etc/profile
note：如果你想将编译出来的文件指定到特定的目录，这里可以在环境变量中加入参数：
export DESTDIR = 你想指定的目录
编译安装
首先进入到RTE_SDK的目录下，这里我进入的目录为“/root/dpdk-18.08”。执行编译命令如下
make config T=x86_64-native-linuxapp-gcc #如果系统已经有，则会提示不需要配置。
sed -ri 's,(PMD_PCAP=).*,\1y,' build/.config # 该步骤是为了将pcap启用，启用pcap需要使用libpcap header
make install T=x86_64-native-linuxapp-gcc
加载使用dpdk
如果编译完成的话在x86_64-native-linuxapp-gcc文件夹下会出现igb_uio.ko和rte_kni.ko文件，可供加载。该文件主要支持将网卡更换igb_uio类型，使之能够支持DPDK。
#cd x86_64-native-linuxapp-gcc/
#modprobe uio
#insmod x86_64-native-linuxapp-gcc/kmod/igb_uio.ko
#insmod x86_64-native-linuxapp-gcc/kmod/rte_kni.ko
查询网卡驱动以及状态
#./usertools/dpdk-devbind.py --status 查询网卡状态
编译Pktgen-dpdk
安装依赖包
#yum install -y numactl-devel gcc readline-devel lua-devel libpcap-devel gcc-g++ net-tools numactl-devel readline epel-release
note：这里需要注意，在3.5以上的pktgen-dpdk编译时，lua的版本必须要在5.3以上。而centos7yum源中自带的lua包只支持到5.1。我们需要通过其他手段来更新lua包。
使用rpm包下载lua5.3：
wget https://centos7.iuscommunity.org/ius-release.rpm
rpm -Uvh ius-release*rpm
yum --enablerepo=ius-archive install lua53u*
使用源码包编译安装：
lua官网下载地址：https://www.lua.org/ftp/
tar -xvf #解压lua
cd lua-5.4.3
make linux #编译链接库
make install #安装到系统中同时修改系统环境变量
make local #使当前用户
检查lua的版本和lua库是否更新：
lua –v #成功是5.3.x，x代表你下载的具体版本
ls /usr/lib64/lua/ #成功会有5.1、5.3两个文件夹
whereis lua #检查是否有/usr/local/bin/lua
编译安装Pktgen-dpdk
在编译安装Pktgen-dpdk前，需要确保dpdk编译完成，并且DPDK导入的变量RTE_SDK和RTE_TARGET仍然生效。进入到你现在的Pktgen-dpdk目录中，直接执行make安装即可。在本实验中，执行则如下：
git clone git://dpdk.org/apps/pktgen-dpdk
cd /root/pktgen-dpdk
make -j 4 #这里我是四核的虚机，为了加速编译，这里使用了-j参数，让4个内核直接参与编译。
Debug
在出现问题之后建议先将之前编译错误进行清除，可考虑使用make clean命令。make相关的清除命令如述。
# make clean：清理大多数编译生成的文件，但会保留config文件等，make install 后再执行，不然 make install 会因为找不到需要安装的东西而重新make
# make mrproper: 清理所有编译生成的文件、 config及某些备份文件，几乎只在第一次执行内核编译前才用这条命令
# make distclean： mrproper、 patches以及编辑器备份文件
编译DPDK时缺少numa.h
错误描述：
/root/dpdk-stable-18.05.1/lib/librte_eal/linuxapp/eal/eal_memory.c:27:18: fatal error: numa.h: No such file or directory
#include
^
compilation terminated.
make[7]: *** [eal_memory.o] Error 1
make[6]: *** [eal] Error 2
make[5]: *** [linuxapp] Error 2
make[4]: *** [librte_eal] Error 2
make[3]: *** [lib] Error 2
make[2]: *** [all] Error 2
make[1]: *** [pre_install] Error 2
make: *** [install] Error 2
解决方法：安装numactl-devel
yum install numactl-devel
编译DPDK时缺少内核编译包
错误描述：
make: *** /lib/modules/3.10.0-514.16.1.el7.x86_64/build: No such file or directory. Stop.
make[6]: *** [igb_uio.ko] Error 2
make[5]: *** [igb_uio] Error 2
make[4]: *** [linux] Error 2
make[3]: *** [kernel] Error 2
make[2]: *** [all] Error 2
make[1]: *** [pre_install] Error 2
make: *** [install] Error 2
解决方法：
首先查看/usr/src/kernels下有没有对应的内核开发包。实际看到发现版本不对3.10.0-862.14.4.el7.x86_64，这里需要先去下载对应的kernel-devel包。这里通过网上查找，找到一个有用的链接如下：
yum install http://vault.centos.org/7.3.1611/updates/x86_64/Packages/kernel-devel-3.10.0-514.16.1.el7.x86_64.rpm
进入/lib/modules/查看是否有3.10.0-514.2.2.el7.x86_64存在，如果没有则需要创建软连接
ln -s /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/ /lib/modules/3.10.0-514.2.2.el7.x86_64/build
我创建的时候，创建失败，提示 ：“ln: 创建符号链接 “build”: 文件已存在”
ls -l /lib/modules/3.10.0-514.2.2.el7.x86_64
1
此时只需要删除软连接，重新创建即可：
rm ./build
ln -s /usr/src/kernels/3.10.0-693.el7.x86_64/ build
编译pktgen-dpdk时如果遇到未知错误可考虑安装libpcap包
如果在Pktgen-dpdk使用yum安装的libpcap没有用的话，需要考虑手动安装一遍libpcap。
1.安装GCC：
yum -y install gcc-c++
2.安装flex：
yum -y install flex # 没有flex，直接安装libpcap会提示"Your operating system's lex is insufficient to compile libpcap"错误
3.安装bison
yum -y install bison #前面安装的是flex，就需要搭配bison，如不会提示"don’t have both flex and bison;reverting to lex/yacc"错误
4.安装 libpcap
下载地址：http://www.tcpdump.org/
下载版本：wget -c http://www.tcpdump.org/release/libpcap-1.5.3.tar.gz
解压软件包
tar zxf libpcap-1.5.3.tar.gz
进入解压后的目录，输入命令行：
命令如下：
./configure
make
make install
编译pktgen-dpdk时在lua报错
错误描述：
编译时出现无法找到/usr/lib64/pkgconfig/lua5.3.pc文件。
解决办法:
首先确保lua已经升级到5.3的版本了。没有升级的先去升级。pktgen编译时会需要/usr/lib64/pkgconfig/lua5.3.pc，但安装lua5.3后自动生成的文件叫lua-5.3.pc，需要手动改名.
mv /usr/lib64/pkgconfig/lua-5.3.pc /usr/lib64/pkgconfig/lua5.3.pc
编译Pktgen-dpdk时在lua报错，提示无法找到readline
错误描述：
lua.c:80:31: fatal error: readline/readline.h: No such file or directory
解决办法：
缺少libreadline-dev依赖包
yum install readline-devel
##编译Pktgen-dpdk是在lua报错，提示command not found
错误描述：
== lua
/bin/sh: line 2: patch: command not found
make[2]: *** [get_tarball] Error 127
make[1]: *** [lua] Error 2
make: *** [lib] Error 2
解决办法：
在pktgen-dpdk的脚本中可以看到会执行一个patch命令，这里发现系统缺少patch命令，需要安装。脚本文件在./lib/lua/Makefile中
安装linux-headers
yum -y install kernel-headers #安装kernel-headers
yum -y install kernel-devel #安装kernel-devel