DPDK RX / TX Callbacks 源码阅读

这个sample是基于basicfw的。basicfw就是一个网口收到的包立即从另一个网口转发出去，非常简洁明了的程序，可以通过basicfw学习基础的DPDK发包API。RX / TX Callbacks 演示在接收和传输的数据包上使用用户定义的回调函数。

/* SPDX-License-Identifier: BSD-3-Clause
 * Copyright(c) 2010-2015 Intel Corporation
 */

#include 
#include 
#include 
#include 
#include 
#include 
#include 

#define RX_RING_SIZE 1024
#define TX_RING_SIZE 1024

#define NUM_MBUFS 8191
#define MBUF_CACHE_SIZE 250
#define BURST_SIZE 32

static const struct rte_eth_conf port_conf_default = {
    .rxmode = {
        .max_rx_pkt_len = ETHER_MAX_LEN,
        .ignore_offload_bitfield = 1,
    },
};

static struct {
    uint64_t total_cycles;
    uint64_t total_pkts;
} latency_numbers;

/* 回调函数的函数指针的格式设定：
一、rx
typedef uint16_t(* rte_rx_callback_fn)(uint16_t port_id, uint16_t queue, struct rte_mbuf *pkts[], uint16_t nb_pkts, uint16_t max_pkts, void *user_param)
    参数：
    1. port id 
    2. queue index
    3. 接收的 burst pkt 所存放的 rte_mbuf 的数组
    4. burst 中数据包的数量
    5. 可以存储在pkts数组中的最大数据包数。
    6. 最初配置回调时应用程序传入的任意用户参数
    
二、tx
typedef uint16_t(* rte_tx_callback_fn)(uint16_t port_id, uint16_t queue, struct rte_mbuf *pkts[], uint16_t nb_pkts, void *user_param)
    参数：
    1. port id 
    2. queue index 
    3. rte_mbuf的数组，里面的pkt即将被发送
    4. burst 中数据包的数量
    5. 最初配置回调时应用程序传入的任意用户参数
*/

// rx 队列的回调函数，添加接收时刻的时间戳
static uint16_t
add_timestamps(uint16_t port __rte_unused, uint16_t qidx __rte_unused,
        struct rte_mbuf **pkts, uint16_t nb_pkts,
        uint16_t max_pkts __rte_unused, void *_ __rte_unused)
{
    unsigned i;
    uint64_t now = rte_rdtsc(); // 用来获取时间戳计数器。

    for (i = 0; i < nb_pkts; i++)
        pkts[i]->udata64 = now; // 8字节用户数据
    return nb_pkts;
}

// tx 队列的回调函数，发送时计算时延
static uint16_t
calc_latency(uint16_t port __rte_unused, uint16_t qidx __rte_unused,
        struct rte_mbuf **pkts, uint16_t nb_pkts, void *_ __rte_unused)
{
    uint64_t cycles = 0;
    uint64_t now = rte_rdtsc();
    unsigned i;

    for (i = 0; i < nb_pkts; i++)
        cycles += now - pkts[i]->udata64; // 在main.c中的全局struct中记录收到的包数量和总时延
    latency_numbers.total_cycles += cycles;
    latency_numbers.total_pkts += nb_pkts;

    if (latency_numbers.total_pkts > (100 * 1000 * 1000ULL)) { // 每十亿个包计算平均时延
        printf("Latency = %"PRIu64" cycles\n",
        latency_numbers.total_cycles / latency_numbers.total_pkts);
        latency_numbers.total_cycles = latency_numbers.total_pkts = 0;
    }
    return nb_pkts;
}

/*
 * Initialises a given port using global settings and with the rx buffers
 * coming from the mbuf_pool passed as parameter
 */
static inline int
port_init(uint16_t port, struct rte_mempool *mbuf_pool)
{
    /*......*/
    /*上面的部分和basicfw是一摸一样的*/


    /* rte_eth_add_rx_callback() 这个API设定一个回调函数，特定 port id 和 rx queue index上每个收到的pkt（burst）都会进行突发调用。

    参数四个：
        1. port id
        2. queue index
        3. 回调函数的函数指针
        4. 传递给回调函数的参数指针

    返回值是一个指针，可以用于删除回调的API

    rte_eth_add_tx_callback()就是为 tx queue 上的发包配置回调函数。
    */

    // 回调函数指针有统一的 typedef

    rte_eth_add_rx_callback(port, 0, add_timestamps, NULL);
    rte_eth_add_tx_callback(port, 0, calc_latency, NULL);

    return 0;
}

/*
 * Main thread that does the work, reading from INPUT_PORT
 * and writing to OUTPUT_PORT
 */

// lcore_main 与 basicfw 完全一样。
static  __attribute__((noreturn)) void
lcore_main(void)
{
    /*......*/
}

/* Main function, does initialisation and calls the per-lcore functions */

// main 函数也与 basicfw 一样。
int
main(int argc, char *argv[])
{
    /*......*/
}

执行情况

开了之后运行了一会，得到了输出。应该开一个外部的发包器比较好。

root@ubuntu:/home/chang/dpdk/examples/rxtx_callbacks/build# ./rxtx_callbacks -l 1 -n 4 
EAL: Detected 8 lcore(s)
EAL: No free hugepages reported in hugepages-1048576kB
EAL: Multi-process socket /var/run/.rte_unix
EAL: Probing VFIO support...
EAL: PCI device 0000:02:01.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:02.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:03.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
EAL: PCI device 0000:02:04.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 8086:100f net_e1000_em
Port 0 MAC: 00 0c 29 f7 4d 25
Port 1 MAC: 00 0c 29 f7 4d 2f

Core 1 forwarding packets. [Ctrl+C to quit]
Latency = 629 cycles
Latency = 787 cycles
^C

参考

sample guide：https://doc.dpdk.org/guides/sample_app_ug/rxtx_callbacks.html
API：ethdev, mbuf