Xilinx QDMA说明和测试

Xilinx QDMA说明和测试

  • 1 测试工程
  • 2 驱动安装
    • 2.1 源文件说明
    • 2.2 驱动编译安装
  • 3 调试工具
    • 3.1 设备管理
    • 3.2 数据读写
  • 4 测试分析
    • 4.1 测试脚本
    • 4.2 测试结果

1 测试工程

使用QDMA的Example工程,该工程可从Github下载,使用的FPGA板卡为浪潮的F37X加速器,运行工程目录下的run.sh执行run.tcl即可完成工程的创建和编译。
Xilinx QDMA说明和测试_第1张图片

2 驱动安装

本节主要介绍QDMA驱动的源文件、编译和安装过程。

2.1 源文件说明

1.下载地址:DMA驱动下载
2.文件说明

文件 说明
apps 应用文件
docs 说明文件
driver 驱动源文件
scripts 脚本文件
RELEASE 版本说明
Makefile.txt Makefile
bsd_license.txt 证书
COPYING 权限
license.txt 证书

2.2 驱动编译安装

1.依赖库安装:QDMA驱动依赖于libaio,所以在编译驱动前需要安装该库。

sudo apt-get install libaio-dev

2.驱动编译
2.1 执行make clean && make命令完成驱动文件的编译,在文件夹会生成bin文件夹,里面包含下述文件。如果需要添加新设备,可以在driver/src/pci_ids.h文件中添加。

文件 说明
dma-ctl QDMA的控制和配置应用程序
dma-to-device 执行MM或ST模式的host-to-card的传输事务
dma-from-device 执行MM或ST模式的card-to-host的传输事务
dma-perf 测量QDMA的性能
qdma-pf.ko PF驱动
qdma-vf.ko VF驱动
dma-latency 测量ST H2C/C2H传输的乒乓延时
dma-xfer 说明QDMA传输的简单应用

2.2 如果只需要PF驱动可以执行make driver MODULE=mod_pf
2.3 如果只需要VF驱动可以执行make driver MODULE=mod_vf
2.4 如果要启用CPM5的VF 4K队列,执行make EQDMA_CPM5_VF_GT_256Q_SUPPORTED=1

3.驱动安装
3.1 执行sudo make install安装驱动和应用程序,执行完该命令后在/user/local/sbin文件下生成dma-ctl、dma-to-device等应用程序,在/lib/modules//qdma文件夹下生成qdam-pf.ko和qdma-vf.ko驱动程序。
3.2 如果只安装驱动程序,可以执行sudo make install-mods
3.3 如果只安装应用程序,可以执行sudo make install-apps
3.4 如果需要卸载驱动和应用程序,可以执行sudo make uninstall

4.驱动加载
4.1 下载FPGA程序,执行lspci -vd 找到设备的BDF号。
4.2 在加载驱动前需要生成一个qdma.conf文件放到/etc/modprobe.d文件夹下,用于参数传递。在scripts文件夹下有一个qdma_generate_conf_file.sh脚本,辅助生成配置文件。执行下述命令,脚本会自动在/etc/modprobe.d文件夹下生成qdma.conf文件。

sudo ./qdma_generate_conf_file.sh     
参数 说明
bus_num BDF中的B
num_pfs PF支持的数量,默认为4
mod 驱动的模式,默认为0
0-Auto;1-Poll;2-Direct Interrupt
3-Indirect Interrupt; 4-Legacy Interrupt
config_bar 配置的BAR空间
master_pf 主PF

4.3 执行sudo modprobe qdma-pf加载PF驱动,执行sudo modprobe qdma-vf加载VF驱动。由于在/lib/modules//qdma文件夹下有qdam-pf.ko和qdma-vf.ko驱动程序,所以系统在启动时会自动加载这两个驱动。如果不需要开机加载这两个驱动,可以在/etc/modprobe.d/blacklist.cof文件中添加blacklist qdma-pfblacklist qdma-vf语句。
5.修改qmax
执行下述命令修改最大队列数,安装驱动后默认的qmax是0,在执行测试脚本时出现错误,提示“unable to open device /dev/qdma82000-MM-0”。重启系统后这个值会恢复为0。

cat /sys/bus/pci/devices/0000:01:00.0/qdma/qmax   // 显示qmax
echo 8 > /sys/bus/pci/devices/0000:01:00.0/qdma/qmax   // 设置qmax为8

6.设置VF数量

cat /sys/bus/pci/devices/0000:01:00.0/sriov_totalvfs   // 显示每个PF的VF数量
echo 3 > /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs   // 设置每个PF的VF数量为1024

3 调试工具

3.1 设备管理

应用dma-ctl用于管理驱动,可以实现下述功能,通过命令dma-ctl -h可查看帮助文件。

  • 列出设备信息
dma-ctl dev list        // 列出系统可使用的PF和VF,以及每个function的queue base和queue max
dma-ctl qdma cap   // 列出硬件和软件的版本信息
dma-ctl qdma stat  // 列出数据统计信息
  • 添加一个或多个队列
dma-ctl qdma q add idx  [mode ] [dir ]   // N-队列编号
dma-ctl qdma q  add list   [mode ] [dir ]
  • 开始一个或多个队列
dma-ctl qdma q start idx  [dir ]
dma-ctl qdma q start list   [dir ]
  • 暂停一个或多个队列
dma-ctl qdma q stop idx  [dir ]
dma-ctl qdma q stop list   [dir ]
  • 删除一个或多个队列
dma-ctl qdma q del idx  [dir ]
dma-ctl qdma q del list   [dir ]
  • 输出一个或多个队列信息
dma-ctl qdma q dump idx  [dir ]
dma-ctl qdma q dump list   [dir ]
  • 输出一个或多个队列描述符信息
dma-ctl qdma q dump idx  [dir ] [desc  ]   // -range start;-range end
dma-ctl qdma q dump list   [dir ] [desc  ] 
  • 输出一个或多个队列完成信息
dma-ctl qdma q dump idx  [dir ] [cmpt  ]
dma-ctl qdma q dump list   [dir ] [cmpt  ] 

输出中断信息

dma-ctl qdma intring dump vector   

3.2 数据读写

  • 读寄存器
dmactl qdma reg read bar     // N-Bar号;addr-地址
  • 写寄存器
dmactl qdma reg write bar  
  • 输出队列寄存器
dmactl qdma reg dump [dmap  ]   // Q-队列号;N-队列数量
  • 写入数据
dma-to-device [OPTIONS]
-d (--device) device path from /dev. Device name is formed as qdmabbddf--
-a (--address) the start address on the AXI bus
-s (--size) size of a single transfer in bytes, default 32 bytes
-o (--offset) page offset of transfer
-c (--count) number of transfers, default 1
-f (--data input file) filename to read the data from.
-w (--data output file) filename to write the data of the transfers
-h (--help) print usage help and exit
-v (--verbose) verbose outpu
  • 读出数据
dma-from-device [OPTIONS]
-d (--device) device path from /dev. Device name is formed as qdmabbddf--
-a (--address) the start address on the AXI bus
-s (--size) size of a single transfer in bytes, default 32 bytes.
-o (--offset) page offset of transfer
-c (--count) number of transfers, default is 1.
-f (--file) file to write the data of the transfers
-h (--help) print usage help and exit
-v (--verbose) verbose output

4 测试分析

4.1 测试脚本

执行脚本qdma_run_test_pf.sh完成对PF的测试,执行命令如下,整个测试流程包括获取设备、设置复位、h2c和c2h的mm接口测试、h2c的st接口测试和c2h的st接口测试。

sudo ./qdma_run_test_pf.sh       
参数 说明
bdf 设备的BDF号
qid_start 队列的起始ID
num_qs 从qid_start开始的队列数量,默认为04
desc_bypass_en 使能描述符旁路,默认为0
pfetch_en 使能预取,默认为0
pfetch_bypass_en 使能预取旁路,默认为0
flr_on 启用function level reset,默认为0
  • 获取设备:get_dev
    执行dma-ctl dev list获取设备信息。
  • 设置复位:set_flr
    如果设置了function level reset,则对修改系统中的reset文件对PCIe设备进行复位。
  • MM测试:run_mm_h2c_c2h
    1.找到AXI Lite的bar空间:get_user_bar
    2.设置设备:dev_mm_c2h、dev_mm_h2c、out_mm
    3.开始队列传输:queue_start,执行dma-ctl q adddma-ctl q start
    4.传输数据到FPGA:dma_to_device
    5.从FPGA中取出数据:dma_from_device
    6.比较两个文件的内容是否相等,结束测试。
    7.清理队列:cleanup_queue,执行dma-ctl q stopdma-ctl q del
  • H2C测试
    1.找到AXI Lite的bar空间:get_user_bar
    2.设置设备:dev_st_h2c
    3.开始队列传输:queue_start,执行dma-ctl q adddma-ctl q start
    4.传输数据到FPGA:dma_to_device
    5.读取FPGA的数据对比结果dma-ctl reg read,结束测试。
    6.清理队列:cleanup_queue,执行dma-ctl q adddma-ctl q start
  • C2H测试
    1.找到AXI Lite的bar空间:get_user_bar
    2.设置设备:dev_st_c2h、out_st
    3.开始队列传输:queue_start,执行dma-ctl q adddma-ctl q start
    4.传输数据到FPGA:dma_from_device
    5.比较两个文件的内容是否相等,结束测试。
    6.清理队列:cleanup_queue,执行dma-ctl q adddma-ctl q start

4.2 测试结果

  • 查看PCIe设备
    Xilinx QDMA说明和测试_第2张图片
  • 查看驱动加载情况
    在这里插入图片描述
  • 查看驱动绑定的设备信息, 如果qmax为0,则需要设置非零的qmax,否则无法找到设备。
    在这里插入图片描述
  • 测试结果
    Xilinx QDMA说明和测试_第3张图片
test_mm)
    dma-ctl qdma82000 q add idx 0 mode mm dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-to-device -d /dev/qdma82000-MM-0 -f datafile_16bit_pattern.bin -s 1024
    dma-from-device -d /dev/qdma82000-MM-0 -f /tmp/out_mm82000_0 -s 1024
    cmp /tmp/out_mm82000_0 datafile_16bit_pattern.bin -n 1024
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

Xilinx QDMA说明和测试_第4张图片
Xilinx QDMA说明和测试_第5张图片
Xilinx QDMA说明和测试_第6张图片

  test_st_h2c)
    dma-ctl qdma82000 q add idx 0 mode st dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-ctl qdma82000 reg write bar 2 0x0C 0x1
    dma-to-device -d /dev/qdma82000-ST-0 -f datafile_16bit_pattern.bin -s 1024
    dma-ctl qdma82000 reg read bar 2 0x10
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

Xilinx QDMA说明和测试_第7张图片
Xilinx QDMA说明和测试_第8张图片
在这里插入图片描述
在这里插入图片描述

  test_st_c2h)
    dma-ctl qdma82000 reg write bar 2 0x0 0x0
    dma-ctl qdma82000 q add idx 0 mode st dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-ctl qdma82000 reg write bar 2 0x4 1024
    dma-ctl qdma82000 reg write bar 2 0x08 2
    dma-from-device -d /dev/qdma82000-ST-0 -f /tmp/out_st82000_0 -s 1024
    cmp /tmp/out_st82000_0 datafile_16bit_pattern.bin -n 1024
    dma-ctl qdma82000 reg write bar 2 0x08 0x22
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

Xilinx QDMA说明和测试_第9张图片
在这里插入图片描述

你可能感兴趣的:(#,XIlinx,DMA说明和测试,fpga开发)