82599ES 光口无法通过大包的问题记录
问题
参考 DPDK 例子程序 ip_fragment.c 来实现分片。
无论 I350 电口 还是 82599ES 光口，小包都是可以通过的。
但是在大包的时候，82599ES 光口就有问题。
| 场景 | I350 电口 | 82599ES 光口 |
|---|---|---|
| 启用 tx checksum offload | 小包可以通过 | 小包可以通过 |
| 启用 tx checksum offload | 小包可以通过 | 小包可以通过 |
| 启用 tx checksum offload | 大包可以通过 | 大包不可以通过 |
| 不用 tx checksum offload，CPU 填充 checksum | 大包可以通过 | 大包不可以通过 |
分析
由于使用了 CPU 填充 checksum 也有问题。所以排除 tx checksum offload 的问题。
因为 DPDK 后的报文，会由多个 segment 组成，所以怀疑 82599ES 光口 的发包函数不支持 多 segment 的 报文发送。
所以要查看发包函数。
查看驱动类型
# get 82599ES pci address
lspci | grep Eth
> 08:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
# get 82599ES device id
cat /sys/bus/pci/devices/0000:08:00.0/device
> 0x10fb
从 0x10fb 得出 82599ES 的 设置类型为 IXGBE_DEV_ID_82599_SFP，所以 82599ES 使用的是 ixgbe 的驱动。
查看发包函数
ixgbe 的驱动的 发包函数有三个。
| 发包函数 | 描述 |
|---|---|
| ixgbe_xmit_pkts_vec | 万兆 Rx Vector enabled |
| ixgbe_xmit_pkts_simple | 万兆 Tx simple |
| ixgbe_xmit_pkts | 万兆 默认发包函数 |
使用 gdb 对以上函数来打断点。确认当前的是 ixgbe_xmit_pkts_vec 发包函数。
发包函数的设置
查看驱动的 ixgbe_set_tx_function 函数的代码。发现不同发包函数原来是有区别的：
ixgbe_set_tx_function(struct rte_eth_dev *dev, struct ixgbe_tx_queue *txq)
{
/* Use a simple Tx queue (no offloads, no multi segs) if possible */ // <-- no offloads, no multi segs supports
if (((txq->txq_flags & IXGBE_SIMPLE_FLAGS) == IXGBE_SIMPLE_FLAGS)
&& (txq->tx_rs_thresh >= RTE_PMD_IXGBE_TX_MAX_BURST)) {
PMD_INIT_LOG(DEBUG, "Using simple tx code path");
#ifdef RTE_IXGBE_INC_VECTOR
if (txq->tx_rs_thresh <= RTE_IXGBE_TX_MAX_FREE_BUF_SZ &&
(rte_eal_process_type() != RTE_PROC_PRIMARY ||
ixgbe_txq_vec_setup(txq) == 0)) {
PMD_INIT_LOG(DEBUG, "Vector tx enabled.");
dev->tx_pkt_burst = ixgbe_xmit_pkts_vec; // <-- DON'T WORK
} else
#endif
dev->tx_pkt_burst = ixgbe_xmit_pkts_simple; // <-- DON'T WORK
} else {
PMD_INIT_LOG(DEBUG, "Using full-featured tx code path"); // <-- offloads, multi segs supports
PMD_INIT_LOG(DEBUG,
" - txq_flags = %lx " "[IXGBE_SIMPLE_FLAGS=%lx]",
(unsigned long)txq->txq_flags,
(unsigned long)IXGBE_SIMPLE_FLAGS);
PMD_INIT_LOG(DEBUG,
" - tx_rs_thresh = %lu " "[RTE_PMD_IXGBE_TX_MAX_BURST=%lu]",
(unsigned long)txq->tx_rs_thresh,
(unsigned long)RTE_PMD_IXGBE_TX_MAX_BURST);
dev->tx_pkt_burst = ixgbe_xmit_pkts; // <-- WORK
}
}
总结一下，可以得出不同发包函数的区别如下：
| 发包函数 | 是否支持offload, 和 多 segment 的 报文 |
|---|---|
| ixgbe_xmit_pkts_vec | 否 |
| ixgbe_xmit_pkts_simple | 否 |
| ixgbe_xmit_pkts | 是（全功能） |
看来 82599ES 需要使用 ixgbe_xmit_pkts 才支持offload, 和 多 segment。
修改方法
参考 DPDK 例子程序 ip_fragment.c 的代码。
设置 txq_flags 为 0，使用 ixgbe_xmit_pkts 发包函数，就可以支持 offload 和 多 segment 的 报文 发送。
ip_fragment.c 的代码：
main()
{
/* ... */
/* init one TX queue per couple (lcore,port) */
for (lcore_id = 0; lcore_id < RTE_MAX_LCORE; lcore_id++) {
if (rte_lcore_is_enabled(lcore_id) == 0)
continue;
socket = (int) rte_lcore_to_socket_id(lcore_id);
/* set txq_flags to ZERO,
* to use defualt tx function (ixgbe_xmit_pkts),
* which support multi-segment and offload for ixgbe driver
* with NIC 82599ES (device: IXGBE_DEV_ID_82599_SFP).
* reference: example of ip_fragmentation.c, DPDK.
*/
rte_eth_dev_info_get(portid, &dev_info);
txconf = &dev_info.default_txconf;
txconf->txq_flags = 0; /* <-- use defualt tx function */
ret = rte_eth_tx_queue_setup(portid, queueid, nb_txd,
socket, txconf);
if (ret < 0) {
printf("\n");
rte_exit(EXIT_FAILURE, "rte_eth_tx_queue_setup: "
"err=%d, port=%d\n", ret, portid);
}
}
/* ... */
}