CentOS上安装Mellanox OFED

打开Mellanox官网下载驱动 Linux InfiniBand Drivers

CentOS上安装Mellanox OFED_第1张图片

点击下载链接跳转至

CentOS上安装Mellanox OFED_第2张图片

 Tgz解压缩执行 ./mlnxofedinstall发现缺少模块

# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.11337.logs
General log file: /tmp/MLNX_OFED_LINUX.11337.logs/general.log
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-modules-extra tk

先安装 kernel modules

# yum install kernel-modules-extra tk
Last metadata expiration check: 0:41:59 ago on Fri 19 Jan 2024 08:46:46 PM CST.
Dependencies resolved.
=====================================================================================================================================================================================================================
 Package                                                Architecture                             Version                                                         Repository                                     Size
=====================================================================================================================================================================================================================
Installing:
 tk                                                     x86_64                                   1:8.6.8-1.el8                                                   CentOS8.4-0                                   1.6 M
 kernel-modules-extra                                   x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                   6.6 M
Upgrading:
 dracut                                                 x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                   372 k
 dracut-config-rescue                                   x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                    58 k
 dracut-network                                         x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                   105 k
 dracut-squash                                          x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                    58 k
 iptables                                               x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                   586 k
 iptables-ebtables                                      x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                    71 k
 iptables-libs                                          x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                   107 k
 kexec-tools                                            x86_64                                   2.0.20-46.el8_4.2                                               CentOS8.4-1                                   508 k
 libnftnl                                               x86_64                                   1.1.5-4.el8                                                     CentOS8.4-1                                    83 k
 linux-firmware                                         noarch                                   20201218-102.git05789708.el8                                    CentOS8.4-1                                   123 M
 systemd                                                x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   3.6 M
 systemd-container                                      x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   744 k
 systemd-libs                                           x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   1.1 M
 systemd-pam                                            x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   469 k
 systemd-udev                                           x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   1.4 M
Installing dependencies:
 kernel-core                                            x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                    36 M
 kernel-modules                                         x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                    28 M
Installing weak dependencies:
 memstrack                                              x86_64                                   0.1.11-1.el8                                                    CentOS8.4-1                                    48 k

Transaction Summary
=====================================================================================================================================================================================================================
Install   5 Packages
Upgrade  15 Packages

Total download size: 204 M
Is this ok [y/N]: y
Downloading Packages:

再安装OFED

# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.33933.logs
General log file: /tmp/MLNX_OFED_LINUX.33933.logs/general.log
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.

Do you want to continue?[y/N]:y

Uninstalling MLNX_EN driver

rpm --nosignature -e --allmatches --nodeps libibverbs libibverbs-utils libibumad ibacm librdmacm opensm opensm-libs infiniband-diags opensm opensm-libs libibumad ibacm libibverbs libibverbs-utils librdmacm infiniband-diags

Starting MLNX_OFED_LINUX-23.10-1.1.9.0 installation ...

Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Installing mlnx-ofa_kernel RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9########################################
Configured /etc/security/limits.conf
Installing kmod-mlnx-ofa_kernel 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing mlnx-ofa_kernel-devel RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-devel-23.10-OFED.23.10########################################
Installing mlnx-ofa_kernel-source RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-source-23.10-OFED.23.1########################################
Installing kmod-kernel-mft-mlnx 4.26.1 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing knem RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
knem-1.1.4.90mlnx3-OFED.23.10.0.2.1.1.########################################
Installing kmod-knem 1.1.4.90mlnx3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing xpmem RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
xpmem-2.7.3-1.2310055.rhel8u1         ########################################
Installing kmod-xpmem 2.7.3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-iser 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-srp 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-isert 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing libxpmem 2.7.3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
libxpmem-2.7.3-1.2310055.rhel8u1      ########################################
Installing user level RPMs:
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Device (0000:2f:00.0):
	0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
	Link Width: x16
	PCI Link Speed: 8GT/s

Device (0000:2f:00.1):
	0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
	Link Width: x16
	PCI Link Speed: 8GT/s


Installation finished successfully.


Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:mlnx-fw-updater-23.10-1.1.9.0    ################################# [100%]

Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf

Initializing...
Attempting to perform Firmware update...

The firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.

Failed to update Firmware.
See /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.log
To load the new driver, run:
/etc/init.d/openibd restart
    
# /etc/init.d/openibd restart
Unloading rdma_cm                                          [FAILED]
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert

# modprobe -r rdma_cm
modprobe: FATAL: Module rdma_cm is in use.

# rmmod rdma_cm
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert

# cat /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.log

The firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.

EXIT_STATUS: 2

# yum install opensm
new_perftrace                                                                                                                                                                   602 kB/s | 2.9 kB     00:00    
new_brpc_rel                                                                                                                                                                    728 kB/s | 2.9 kB     00:00    
new_lnpfa                                                                                                                                                                       774 kB/s | 2.9 kB     00:00    
new_ftp                                                                                                                                                                         799 kB/s | 2.9 kB     00:00    
new_lnutil                                                                                                                                                                      808 kB/s | 2.9 kB     00:00    
new_deploy_frontend                                                                                                                                                             815 kB/s | 2.9 kB     00:00    
new_recoverymode                                                                                                                                                                834 kB/s | 2.9 kB     00:00    
new_dnsmasq                                                                                                                                                                     584 kB/s | 2.9 kB     00:00    
new_nas_setup                                                                                                                                                                   732 kB/s | 2.9 kB     00:00    
new_bootstrap                                                                                                                                                                   776 kB/s | 2.9 kB     00:00    
new_eagle_eye                                                                                                                                                                   811 kB/s | 2.9 kB     00:00    
new_ngds                                                                                                                                                                        819 kB/s | 2.9 kB     00:00    
centos8.4_0                                                                                                                                                                     1.5 MB/s | 4.3 kB     00:00    
centos8.4_1                                                                                                                                                                     1.2 MB/s | 3.9 kB     00:00    
centos8.4_2                                                                                                                                                                     1.3 MB/s | 3.8 kB     00:00    
centos8.4_3                                                                                                                                                                     1.4 MB/s | 3.9 kB     00:00    
centos8.4_4                                                                                                                                                                     1.7 MB/s | 4.3 kB     00:00    
centos8.4_5                                                                                                                                                                     1.5 MB/s | 4.3 kB     00:00    
centos8.4_6                                                                                                                                                                     1.3 MB/s | 3.9 kB     00:00    
centos8.4_7                                                                                                                                                                     1.3 MB/s | 3.9 kB     00:00    
centos8.4_8                                                                                                                                                                     1.3 MB/s | 3.8 kB     00:00    
centos8.4_9                                                                                                                                                                     1.5 MB/s | 3.9 kB     00:00    
centos8.4_10                                                                                                                                                                    1.4 MB/s | 3.9 kB     00:00    
centos8.4_11                                                                                                                                                                    1.1 MB/s | 2.9 kB     00:00    
centos8.4_12                                                                                                                                                                    1.5 MB/s | 4.3 kB     00:00    
centos8.4_13                                                                                                                                                                    551 kB/s | 1.5 kB     00:00    
centos8.4_15                                                                                                                                                                    991 kB/s | 3.0 kB     00:00    
centos8.4_16                                                                                                                                                                    1.0 MB/s | 3.0 kB     00:00    
centos8.4_17                                                                                                                                                                    1.0 MB/s | 3.0 kB     00:00    
centos8.4_18                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_19                                                                                                                                                                    610 kB/s | 1.5 kB     00:00    
centos8.4_20                                                                                                                                                                    628 kB/s | 1.5 kB     00:00    
centos8.4_21                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_22                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_23                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_24                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_25                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_26                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
centos8.4_27                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_28                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_29                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_30                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_31                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
centos8.4_32                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_41                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_47                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_48                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_49                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
Centos_samba_build                                                                                                                                                              1.2 MB/s | 2.9 kB     00:00    
Package opensm-5.17.0.MLNX20231105.d437ae0a-0.1.2310055.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!

# systemctl restart opensm.service
Failed to restart opensm.service: Unit opensm.service not found.

# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
[warn] mst_pciconf is already loaded, skipping
Create devices
Unloading MST PCI module (unused) - Success

mt4123_pciconf0    mt4123_pciconf0.1  
# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1

Device #1:
----------

Device type:        ConnectX6           
Name:               SC57A40944_Ax       
Description:        ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device:             /dev/mst/mt4123_pciconf0

Configurations:                                          Next Boot       New
-E- The Device doesn't support FPP_EN parameter

# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1

Device #1:
----------

Device type:        ConnectX6           
Name:               SC57A40944_Ax       
Description:        ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device:             /dev/mst/mt4123_pciconf0

Configurations:                                          Next Boot       New
-E- The Device doesn't support FPP_EN parameter

# mlxfwreset --device /dev/mst/mt4123_pciconf0
mt4123_pciconf0    mt4123_pciconf0.1  

# mlxfwreset --device /dev/mst/mt4123_pciconf0 reset

Minimal reset level for device, /dev/mst/mt4123_pciconf0:

3: Driver restart and PCI reset
Continue with reset?[y/N] y
-I- Sending Reset Command To Fw             -Done
-I- Resetting PCI                           -Done
-I- Restarting MST                          -Done
-I- FW was loaded successfully.

# ibdev2netdev 
-bash: /usr/bin/ibdev2netdev: No such file or directory

# lspci|grep Mellanox
0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]

继续安装OFED,但是kernel不支持,先增加kernel模块,缺少装啥即可

# yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros

# bash mlnx_add_kernel_support.sh -m ./
Note: This program will create MLNX_OFED_LINUX TGZ for rhel8.1 under /tmp directory.
Do you want to continue?[y/N]:y
See log file /tmp/mlnx_iso.20469_logs/mlnx_ofed_iso.20469.log

Checking if all needed packages are installed...
/lib/modules/4.18.0-305.19.1.el8_4.x86_64/build//scripts is required to build mlnx-ofa_kernel-modules RPM.
Please install the corresponding kernel-devel RPM.

Error: One or more required packages for installing OFED-internal are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros

再继续安装

./mlnxofedinstall --add-kernel-support

你可能感兴趣的:(centos,linux,运维)