Infiniband HDR 网卡、交换机使用向导

Infiniband HDR 200Gb(以下简称IB HDR) 产品开箱使用向导主要分为以下几个关键步骤:

一、物理链路连接

  1. 将IB HDR 网卡正确安装到主机的PCIe插槽;
  2. 将IB HDR交换机安装到机架;
  3. 使用IB HDR光纤将网卡和交换机进行连接;
  4. 给交换机和主机加电;
  5. 检查网卡的PCIe speed和width,检查命令:lspci –vvv | grep  -i mell  –A40;

若主机的PCIe插槽为Gen3.0 x16,则网卡的PCIe信息正常输出如图1-1所示,Speed为8GT/s,Width为x16.

Infiniband HDR 网卡、交换机使用向导_第1张图片

图1-1 网卡PCIe输出信息

*若没有正常输出网卡的PCIe相关信息,则需要检查网卡是否正确安装。

二、网卡驱动安装(OFED软件包安装)

  1. 访问Linux InfiniBand Drivers下载跟主机操作系统版本对应的OFED压缩包(MLNX_OFED_LINUX*.tgz);
  2. 拷贝MLNX_OFED_LINUX*.tgz到每台主机的/home/目录中或共享目录中;
  3. 解压tar  xvf  MLNX_OFED_LINUX*.tgz;
  4. 进入到解压后的目录中执行安装脚本:./mlnxofedinstall;安装过程需要十分钟左右。

*安装过程中会有交互提示信息,直接输入y,再按enter键即可。

     5.在每台主机上启动openibd服务(加载驱动)并设为开机启动:

       systemctl  start openibd

       systemctl  enable openibd

    6.选择任意一台主机启动子网管理器并设为开机启动:

       systemctl  start  opensmd

       systemctl  enable openibd

三、检查全网端口状态

      在任意一台主机上输入iblinkinfo命令,检查全网所有端口是否处于Active状态,若为Active状态,则代表端口状态正常。

     iblinkinfo命令输出示例如图1-2所示,从输出信息中可以看出每个网卡和交换机的名称、GUID、LID、端口编号、端口Lane数、端口速率及端口状态。

Infiniband HDR 网卡、交换机使用向导_第2张图片

图1-2 iblinkinfo输出示例

四、RDMA性能测试

      通过运行RDMA性能测试程序,可以了解当前网络的RDMA连通性、RDMA读写带宽和延迟等基础信息。

  1. RDMA写带宽测试

      服务端输入:ib_write_bw  -a

      客户端输入:ib_write_bw  -a  [服务端IP地址或hostname]

     *可以通过—help选项查看更多可选参数。

      测试结果输出信息如图1-3所示。

Infiniband HDR 网卡、交换机使用向导_第3张图片

                            图1-3 RDMA写带宽测试结果 

    2.RDMA写延迟测试

         服务端输入:ib_write_lat  -a

         客户端输入:ib_write_lat  -a  [服务端IP地址或hostname]

         *可以通过—help选项查看更多可选参数。

         测试结果输出信息如图1-4所示。

Infiniband HDR 网卡、交换机使用向导_第4张图片

                     图1-4 RDMA写延迟测试结果

你可能感兴趣的:(Infiniband,网络协议,可用性测试)