【Linux】Infiniband 驱动安装---(HCA光钎)---mlnx

Infiniband 驱动安装---(HCA光纤)

环境:Linux CentOS 6.8

官网驱动ISO包,从官网下载(根据系统的类型和型号下载):
http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers

挂载ISO包
# mount -o ro,loop MLNX.iso /mnt

使用下面的命令安装
# ./mlnxofedinstall
gcc-gfortran rpm is required to install openshmem
gcc-gfortran rpm is required to install openmpi_gcc

提示需要先安装gcc-gfortran再安装驱动
# yum -y install  gcc-gfortran

安装记录如下
# ./mlnxofedinstall
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y

Starting MLNX_OFED_LINUX-1.5.3-4.0.42 installation ...

Installing mlnx-ofa_kernel RPM
Preparing...                ##################################################
mlnx-ofa_kernel             ##################################################
Installing kmod-mlnx-ofa_kernel RPM
Preparing...                ##################################################
kmod-mlnx-ofa_kernel        ##################################################
Installing kmod-mlnx-ofa_kernel-xen RPM
Preparing...                ##################################################
kmod-mlnx-ofa_kernel-xen    ##################################################
Installing mlnx-ofa_kernel-devel RPM
Preparing...                ##################################################
mlnx-ofa_kernel-devel       ##################################################
Installing kernel-mft RPM
Preparing...                ##################################################
kernel-mft                  ##################################################
Installing knem RPM
Preparing...                ##################################################
knem                        ##################################################
Installing mpi-selector RPM
Preparing...                ##################################################
mpi-selector                ##################################################
Installing user level RPMs:
Preparing...                ##################################################
ofed-scripts                ##################################################
Preparing...                ##################################################
libibverbs                  ##################################################
Preparing...                ##################################################
libibverbs-devel            ##################################################
Preparing...                ##################################################
libibverbs-devel-static     ##################################################
Preparing...                ##################################################
libibverbs-utils            ##################################################
Preparing...                ##################################################
libmthca                    ##################################################
Preparing...                ##################################################
libmthca-devel-static       ##################################################
Preparing...                ##################################################
libmverbs                   ##################################################
Preparing...                ##################################################
libmlx4                     ##################################################
Preparing...                ##################################################
libmlx4-devel               ##################################################
Preparing...                ##################################################
libmverbs-devel             ##################################################
Preparing...                ##################################################
libmqe                      ##################################################
Preparing...                ##################################################
libmqe-devel                ##################################################
Preparing...                ##################################################
libcxgb3                    ##################################################
Preparing...                ##################################################
libcxgb3-devel              ##################################################
Preparing...                ##################################################
libnes                      ##################################################
Preparing...                ##################################################
libnes-devel-static         ##################################################
Preparing...                ##################################################
libipathverbs               ##################################################
Preparing...                ##################################################
libipathverbs-devel         ##################################################
Preparing...                ##################################################
libibcm                     ##################################################
Preparing...                ##################################################
libibcm-devel               ##################################################
Preparing...                ##################################################
libibumad                   ##################################################
Preparing...                ##################################################
libibumad-devel             ##################################################
Preparing...                ##################################################
libibumad-static            ##################################################
Preparing...                ##################################################
libibmad                    ##################################################
Preparing...                ##################################################
libibmad-devel              ##################################################
Preparing...                ##################################################
libibmad-static             ##################################################
Preparing...                ##################################################
ibsim                       ##################################################
Preparing...                ##################################################
ibacm                       ##################################################
Preparing...                ##################################################
librdmacm                   ##################################################
Preparing...                ##################################################
librdmacm-utils             ##################################################
Preparing...                ##################################################
librdmacm-devel             ##################################################
Preparing...                ##################################################
libsdp                      ##################################################
Preparing...                ##################################################
libsdp-devel                ##################################################
Preparing...                ##################################################
opensm-libs                 ##################################################
Preparing...                ##################################################
opensm                      ##################################################
Preparing...                ##################################################
opensm-devel                ##################################################
Preparing...                ##################################################
opensm-static               ##################################################
Preparing...                ##################################################
compat-dapl                 ##################################################
Preparing...                ##################################################
compat-dapl-devel           ##################################################
Preparing...                ##################################################
dapl                        ##################################################
Preparing...                ##################################################
dapl-devel                  ##################################################
Preparing...                ##################################################
dapl-devel-static           ##################################################
Preparing...                ##################################################
dapl-utils                  ##################################################
Preparing...                ##################################################
perftest                    ##################################################
Preparing...                ##################################################
mstflint                    ##################################################
Preparing...                ##################################################
mft                         ##################################################
Preparing...                ##################################################
sdpnetstat                  ##################################################
Preparing...                ##################################################
srptools                    ##################################################
Preparing...                ##################################################
rds-tools                   ##################################################
Preparing...                ##################################################
rds-devel                   ##################################################
Preparing...                ##################################################
ibutils2                    ##################################################
Preparing...                ##################################################
ibutils                     ##################################################
Preparing...                ##################################################
cc_mgr                      ##################################################
Preparing...                ##################################################
dump_pr                     ##################################################
Preparing...                ##################################################
ar_mgr                      ##################################################
Preparing...                ##################################################
ibdump                      ##################################################
Preparing...                ##################################################
infiniband-diags            ##################################################
Preparing...                ##################################################
qperf                       ##################################################
Preparing...                ##################################################
fca                         ##################################################
INFO: updating ...

IMPORTANT NOTE:
===============

- The FCA Manager and FCA MPI Runtime library are installed in /opt/mellanox/fca directory.
- The FCA Manager will not be started automatically.
- To start FCA Manager now, type:
    /etc/init.d/fca_managerd start

- There should be single process of FCA Manager running per fabric.

- To start FCA Manager automatically after boot, type:
    /etc/init.d/fca_managerd install_service

- Check /opt/mellanox/fca/share/doc/fca/README.txt for quick start instructions.

Preparing...                ##################################################
mxm                         ##################################################
Preparing...                ##################################################
openshmem                   ##################################################
Preparing...                ##################################################
bupc                        ##################################################
Preparing...                ##################################################
infinipath-psm              ##################################################
Preparing...                ##################################################
infinipath-psm-devel        ##################################################
Preparing...                ##################################################
mvapich_gcc                 ##################################################
Preparing...                ##################################################
mvapich2_gcc                ##################################################
Preparing...                ##################################################
openmpi_gcc                 ##################################################
Preparing...                ##################################################
mpitests_mvapich_gcc        ##################################################
Preparing...                ##################################################
mpitests_mvapich2_gcc       ##################################################
Preparing...                ##################################################
mpitests_openmpi_gcc        ##################################################
Preparing...                ##################################################
mlnxofed-docs               ##################################################
Device (41:00.0):
        41:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)
        Link Width: 8x
        PCI Link Speed: 5Gb/s

Installation finished successfully.

The firmware version on the device /dev/mst/mt26428_pci_cr0 - 2.9.8350 is newer than provided version 2.9.1000. No update required for /dev/mst/mt26428_pci_cr0.
Note: To force firmware update use '--force-fw-update' flag.
Configuring /etc/security/limits.conf.

(备用:echo y | /home/isotmp/mlnxofedinstall --basic --msm --umad-dev-rw --hugepages-overcommit)

(在能联网并且可以使用网络上yum的前提下可以这样安装
yum groupinstall "Infiniband Support"  //安装需要的包
yum install infiniband-diags perftest qperf opensm //安装必要的操作包


安装完重启机器:# reboot

查看服务(一般正常安装完会有两个服务openlibd和opensmd)
# chkconfig --list | grep open
openibd         0:off   1:off   2:off    3:off    4:off    5:off    6:off
opensmd         0:off   1:off   2:off   3:off   4:off   5:off   6:off

启动服务,先启动ibd后启动smd
# service openibd restart
# service opensmd restart

开机启动openlibd服务(只启动ib也可以,但首次扫描的时候需要把sm启动后再扫描)
# chkconfig openibd on

查看端口状态
# ibstat
状态变为active,则可以和其他端口通信

查询访问端各光纤*号并在存储端(targetcli里)绑定
(1)先查看本机的光纤***号
# cat /sys/class/infiniband/*/ports/*/gids/0 | sed -e s/fe80/0x0000/ -e 's/\://g'
(2)在存储端绑定查询出来的号(使用ISCSI的target服务)
# targetcli
/> /backstores/block create storage_disk1 /dev/sdb
/> /srpt create 0x00000000000000000002c903004e5637
/> /srpt create 0x00000000000000000002c903004e5638
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e29bd
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e29be
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e55e3
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e55e4

/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e29bd
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e29be
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e55e3
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e55e4

--11
0x00000000000000000002c903004e55e3
0x00000000000000000002c903004e55e4
--12
0x00000000000000000002c903004e29bd
0x00000000000000000002c903004e29be

回到访问端加载ib_srp并且确保SM是启动的
# modprobe ib_srp
# service opensmd restart

扫描(前提是服务端已弄好)----如果未发现此命令,查看srptools-0.0.4mlnx3-1(这个是redhat5.8版本的)软件包是否安装了
# srp_daemon -e -o


PS:
显示光纤网络中所有链路的链路信息:iblinkinfo
如多路径未能全部扫描出来,执行srp_daemon.sh


你可能感兴趣的:(Linux)