Intel xl710-qda1 40G网卡通过铜缆连接10G交换机做链路聚合

摘要

(不想看掠过)
目前工作室有两个服务器,一个dell 的 r510,主要存放项目文件。另外一个是自己组的 lsi 9271 的 raid,用来存放素材库,以及一些杂项。
感觉有点吵,机架空间也占了俩,就想把工作室里两个 8 盘存储服务器合并到一个服务器里,然后存点钱弄上 8 个固态来组一个软 raid。所以买了嘉华的24盘的机箱(背板支持 8 个 nvm),一张 9460-16i的卡来连接两个存储的 16 个盘,做成两个池。
然后顺便想把现有的连接服务器的 10G 网络升级到 40G,买 40G 的交换机太贵,想着能不能做链路聚合。问了一圈人,都说 40g 的网卡连接 10g 的交换机,做链路聚合是没问题的。然后在身边一群一问就说可以,再问就三不知的坑货忽悠下,买买买。弄了快一个礼拜了,终于找到解决方案了。

目的

想把 xl710 的 40G 口连接到 H3C 的 4 个 10G 口上做 40G 的网络。

问题

直接用 1分4 的铜缆连接,H3C 会一直报告这四个端口 up/down 的错误。换过光缆等等各种线都不行。

解决方案

先用 Intel 的 EPCT 工具将 xl710 的 40G 分成 4 个 10G 的网卡(在系统下面会看到 4 张网卡),然后在系统里给这分开的四个网卡做 lacp 的 team,H3C 里也直接给连接的四个端口做 lacp,重启系统即可正常使用。

环境:

系统:centos 9.2(本来想用 opensuse 的,但是实在是 opensuse 没有类似 cockpit 的管理工具)。
交换机:H3C s6520-16s-si,全 10G 接口。
网卡:Intel xl710-qda1,淘宝价格比较适中的 40G 卡。
职业:后期合成师。

过程

伤心的买买买,退退退,熬夜加班调试的过程就不提了,记录只为非专业人士少走弯路,说重点。

  1. 从 Intel 官网下载驱动,里面带了驱动,EPCT 工具,路径如下:

    驱动:./PRO40GB/Linux/i40e-2.23.17.tar.gz
    EPCT:./APPS/EPCT/Linux_x64/epct64e
  2. 参考官方的驱动编译方法,安装 i40e 驱动(不安装默认也能识别,图个心安):
    安装驱动链接
  3. 进入到 epct64e 目录下,给 epct64e 添加执行权限:

    cd ./APPS/EPCT/Linux_x64
    sudo chmod +x ./epct64e
  4. epct64e 的命令说明:
    epct64e 命令说明
  5. 按照说明用以下命令将网卡拆分成 4 个:

    sudo ./epct64e -nic=1 -set 4x10G
  6. 重启系统,用 lspci 就可以看到四张 40G 的网卡:

    sudo lspci | grep Intel

    Intel xl710-qda1 40G网卡通过铜缆连接10G交换机做链路聚合_第1张图片

  7. 然后再用 nmcli 命令创建 team,按照 参考链接 即可。
  8. 然后给 team 分配静态 ip,完美。

你可能感兴趣的:(环境搭建linux)