usrp n310测试总结---环境搭建篇2-uhd-dpdk干货

在网络搜索使用uhd-dpdk的人很少，特总结一些自己使用点滴，希望有用！

一、UHD驱动安装（ubuntu 18.04）
官方指导：http://kb.ettus.com/Building_and_Installing_the_USRP_Open-Source_Toolchain_(UHD_and_GNU_Radio)_on_Linux
严格按照文档一步步来，这里不详细说明。
sudo apt-get update
sudo apt-get -y install git swig cmake doxygen build-essential libboost-all-dev libtool libusb-1.0-0 libusb-1.0-0-dev libudev-dev libncurses5-dev libfftw3-bin libfftw3-dev libfftw3-doc libcppunit-1.14-0 libcppunit-dev libcppunit-doc ncurses-bin cpufrequtils python-numpy python-numpy-doc python-numpy-dbg python-scipy python-docutils qt4-bin-dbg qt4-default qt4-doc libqt4-dev libqt4-dev-bin python-qt4 python-qt4-dbg python-qt4-dev python-qt4-doc python-qt4-doc libqwt6abi1 libfftw3-bin libfftw3-dev libfftw3-doc ncurses-bin libncurses5 libncurses5-dev libncurses5-dbg libfontconfig1-dev libxrender-dev libpulse-dev swig g++ automake autoconf libtool python-dev libfftw3-dev libcppunit-dev libboost-all-dev libusb-dev libusb-1.0-0-dev fort77 libsdl1.2-dev python-wxgtk3.0 git libqt4-dev python-numpy ccache python-opengl libgsl-dev python-cheetah python-mako python-lxml doxygen qt4-default qt4-dev-tools libusb-1.0-0-dev libqwtplot3d-qt5-dev pyqt4-dev-tools python-qwt5-qt4 cmake git wget libxi-dev gtk2-engines-pixbuf r-base-dev python-tk liborc-0.4-0 liborc-0.4-dev libasound2-dev python-gtk2 libzmq3-dev libzmq5 python-requests python-sphinx libcomedi-dev python-zmq libqwt-dev libqwt6abi1 python-six libgps-dev libgps23 gpsd gpsd-clients python-gps python-setuptools
   cd $HOME
   mkdir workarea-uhd
   cd workarea-uhd
    git clone https://github.com/EttusResearch/uhd
   cd uhd
   git tag -l
   git checkout v3.14.1.1
    cd host
   mkdir build
   cd build
    cmake ../
    make
    sudo make test
    sudo make install
    sudo ldconfig
    $HOME/.bashrc file: 
   export LD_LIBRARY_PATH=/usr/local/lib
   测试：uhd_find_devices uhd_usrp_probe
   $ sudo uhd_images_downloader或者从已有系统中拷贝：
 从本地拷至远程
 scp -r /usr/local/share/uhd/images [email protected]:/usr/local/share/uhd
 从远程拷至本地
 scp -r [email protected]:/usr/local/share/uhd/images .
  scp -r [email protected]:/home/workarea-uhd/uhd .
 解决问题：EnvironmentError: OSError: error in pthread_setschedparam
   sudo groupadd usrp
   sudo usermod -aG usrp $USER
Then add the line below to end of the file /etc/security/limits.conf: 
   @usrp - rtprio  99

二、关于n310的使用和连接方法：
    官方文档：https://kb.ettus.com/USRP_N300/N310/N320/N321_Getting_Started_Guide
    更详细的USRP N310 配置教程：https://blog.csdn.net/qq_34998254/article/details/88399065
    通过ssh登陆n310的arm系统：
    将网线插到n310的RJ45端口（上面的1G网线口），另一端可以直接接到一个路由器或者交换机上；
    插上n310里配件带的串口Serial到一个pc上，执行ip a可以看到分配给n310的地址；下次直接ssh登陆此ip即可；如果是设备环境都是已经配置好的，可以使用uhd_find_devices直接查看下ip地址。
    如果没有路由器或交换机可用，可以接到服务器的网口上，配置服务器此端口地址为：192.168.2.254，然后执行：
    dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon
    如果n310本来用着好好的，突然发现不了设备了，再执行以下上面的命令。
    n310 RJ45 1G端口ssh，如果没有具有dhcp功能的路由器或交换机，可以使用linux server的dnsmasq模拟一个。
    将n310的 RJ45端口连到服务器的enp7s0f1网卡，配置enp7s0f1端口如下：注：此端口的ip地址和要分配给n310的地址需要同一网段
    vim /etc/network/interfaces
    auto enp7s0f1
    iface enp7s0f1 inet static
    address 192.168.2.254
    netmask 255.255.255.0
    MTU: 8000-----------一定要设为8000
    ifup enp7s0f1
    dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon
    通过uhd_find_devices可以看到分配给n310的ip地址
    --------------------------------------------------
    -- UHD Device 1
    --------------------------------------------------
    Device Address:
        serial: 316645F
        claimed: False
        mgmt_addr: 192.168.2.242
        product: n310
        reachable: No
        type: n3xx
    
    采样模式：
    1Gb Streaming SFP Port 0：将子带光口转电口适配器插到SFP0上，用网线同服务器相连，设置服务器对应端口地址为192.168.10.1，mtu设置为1500（usrp n310的镜像使用HG）
    10Gb Streaming SFP Port 1：使用光纤将sfp1和服务器相连，设置服务器对应端口地址为192.168.20.1,mtu设置为8000（usrp n310的镜像使用HG或XG）
    Dual 10Gb Streaming SFP Ports 0/1：使用光纤将sfp1 sfp0和服务器相连,mtu设置为8000（usrp n310的镜像使用XG）
    服务端mtu的修改方法见环境搭建篇1；
    usrp n310 mtu设置位置见下，重启生效，将生成的sfp0.network~转换文件及时删除。重启后要ifconfig确认下。
     # ls /etc/systemd/network/
     eth0.network  sfp0.network  sfp1.network
         
    如果是使用dpdk的话：mtu要设置为9000.
     
    fpga镜像加载：
    uhd_image_loader --args "type=n3xx,addr=192.168.2.230,fpga=XG"
    uhd_image_loader --args "type=n3xx,fpga=HG"
    
   
三、srslte安装：
 参考指导：https://blog.csdn.net/xrh003/article/details/79461114
 ubuntu 18.04依赖库：
 sudo apt-get install cmake libfftw3-dev libmbedtls-dev libboost-program-options-dev libboost-thread-dev libconfig++-dev libsctp-dev  
 sudo apt-get install libboost-system-dev libboost-test-dev libboost-thread-dev libqwt-dev libqt4-dev  
 
    git clone https://github.com/suttonpd/srsgui.git  
    cd srsGUI  
    mkdir build  
    cd build  
    cmake ../  
    make  
    sudo make install  
    sudo ldconfig  

    git clone https://github.com/srsLTE/srsLTE  
    mkdir build  
    cd build  
    cmake ../  
    make  
    make test  
    sudo make install  
    sudo ldconfig  

    运行：
    sudo srsepc epc.conf  
    sudo srsenb enb.conf  
    sudo srsue ue.conf
    可以使用srslte/srsLTE/build/lib/examples目录下的例子进行一些测试

四：dpdk的环境搭建
参考文档：
https://files.ettus.com/manual/page_dpdk.html
https://doc.dpdk.org/guides-17.11/linux_gsg/linux_drivers.html#binding-and-unbinding-network-ports-to-from-the-kernel-modules 
网上也有很多dpdk的配置文档，可以作为补充指导http://www.pianshen.com/article/635691779/

1、18.04可以使用apt install dpdk dpdk-dev直接安装，不需要下代码自己编译。
2、先使用ifconfig记录下两个光口的MAC地址，然后将两个端口down掉ifdown ens3f0
73：
ens3f0: flags=4163  mtu 8000
        inet 192.168.20.1  netmask 255.255.255.0  broadcast 192.168.20.255
        inet6 fe80::5639:dfff:fed3:f416  prefixlen 64  scopeid 0x20
        ether 54:39:df:d3:f4:16  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6  bytes 516 (516.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens3f1: flags=4163  mtu 8000
        inet 192.168.10.1  netmask 255.255.255.0  broadcast 192.168.10.255
        inet6 fe80::5639:dfff:fed3:f417  prefixlen 64  scopeid 0x20
        ether 54:39:df:d3:f4:17  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5  bytes 426 (426.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        
        start tx_first (""|10)
  
  71:
  ens3f0: flags=4098  mtu 1500
        ether 74:a0:63:f2:96:e7  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens3f1: flags=4098  mtu 1500
        ether 74:a0:63:f2:96:e8  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
74

3、dpdk环境配置
显示是否支持VT-d或VT-d是否成功打开
dmesg | grep -e DMAR -e IOMMU
若出现：IOMMU not found 或 不知如何在BIOS中enable00 VX-d，可参考博客：http://www.cnblogs.com/vancasola/p/9360837.html
检查 VT-d 在kernel中是否enabled, 运行:
$ cat /proc/cmdline | grep iommu=pt
$ cat /proc/cmdline | grep intel_iommu=on
如果没有显示，需要进行如下配置：
此步修改系统文件，容易误操作导致系统错误，修改前注意备份！
进入配置文件：
nano /etc/default/grub
GRUB_CMDLINE_LINUX="quiet splash iommu=pt intel_iommu=on"//添加配置信息
更新配置信息并重启
default_hugepagesz=1G hugepagesz=1G hugepages=8
10.设置大内存页，设置以后就可以不必每次运行程序的时候都执行setup.sh进行hugepage设置了。
查看cpu是否支持1G大内存页:
cat /proc/cpuinfo | grep pdpe1gb
如果有显示，则支持1G大内存页。
默认支持2M内存页，执行下面命令
cat /proc/cpuinfo |grep pse
如果有显示，则支持2M内存页

隔离分配给dpdk的cpu：
GRUB_CMDLINE_LINUX="isolcpus=1,3"
验证方法：（1）cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-4.15.0-66-lowlatency root=UUID=ec9d0961-3c21-43c3-904d-91c4f0e1fde4 ro iommu=pt intel_iommu=on default_hugepagesz=1G hugepagesz=1G hugepages=8 isolcpus=0,1,2,3,4 quiet intel_pstate=disable
（2）可以查看当前进程的cpu affinity： $taskset -cp $$ 是否有已经被隔离的cpu
sudo grub-mkconfig -o /boot/grub/grub.cfg 
sudo reboot 
sudo ./testpmd -l 0-3 -n 4 -- -i --portmask=0x3 --nb-cores=2

端口所在的socket要和指定的core所在的socket相同：
查看端口所在的socket：
# List all the NICs with PCI address and device IDs.
lspci -nn | grep Eth
#Check the PCI device related numa node id:
cat /sys/bus/pci/devices/0000\:xx\:00.x/numa_node

4、绑定端口：
通过 dpdk-devbind -s查看端口状态 
dpdk-devbind -b vfio-pci ens3f0
dpdk-devbind -b vfio-pci ens3f1
去绑定可以使用：
dpdk-devbind -b ixgbe 0000:01:00.1
dpdk-devbind -b ixgbe 0000:01:00.0
n310的端口mtu要设置为9000.
5.搞完之后建议按照下面网址检查一遍配置：
https://doc.dpdk.org/guides-17.11/linux_gsg/nic_perf_intel_platform.html#

6.新建一个uhd的配置文件如下：
system：/etc/uhd/uhd.conf
user：/root/.uhd/uhd.conf
将https://files.ettus.com/manual/page_dpdk.html给出的配置拷贝到文件中，修改上面的mac地址为实际mac地址。

uhd_dpdk_eal_init
查看dpdk的配置选项，可根据这个函数设置到uhd.conf文件中

可以修改vim /etc/dpdk/interfaces 文件加入对应的端口，就不用每次重启都重新绑端口了
pci     0000:01:00.1    vfio-pci
pci     0000:01:00:0    vfio-pci
有时候重启帮端口可能会不成功，最后使用dpdk-devbind -s确认下

7、修改cpu的工作频率
https://www.cnblogs.com/276815076/p/5434295.html
修改为performance，以期最佳性能。

五：关于gnuradio：
比较好的指导文档：
Gnuradio培训：http://ettus.com.cn/peixun/27/

六：使用过程中问题总结：
1、本来环境是ok的，突然找不到设备，再执行下：
dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon

2、报错：RuntimeError: RuntimeError: Error during RPC call to `claim'. Error message: Someone tried to claim this device again
https://www.mail-archive.com/[email protected]/msg07599.html
登陆到n310的arm，执行systemctl restart usrp-hwd.service
然后重新下载镜像ok
uhd_image_loader --args "type=n3xx,fpga=XG"
uhd_image_loader --args "type=n3xx,fpga=HG"
uhd_image_loader --args "type=n3xx,addr=192.168.2.230,fpga=XG"

3、修改linux为performance后，服务器重启后发现cpufreq-info查看发现不是此模式，需要将cpufreq重启一下
/etc/init.d/cpufrequtils restart