IB网卡驱动安装以及Infiniband连接带宽测试

文章目录

  • 一、环境与安装包
  • 二、IB网卡驱动安装
    • 2.1 解压驱动包
    • 2.2 安装
    • 2.3 配置IP
    • 2.4 启动服务
    • 2.5 IB网卡驱动卸载
  • 三、Infiniband连接性带宽测试
    • 3.1 查询IB设备信息
    • 3.2 测试连接性
    • 3.3 测试带宽
    • 3.4 测试网络延迟

一、环境与安装包

Node0:
操作系统:Ubuntu 16.04STL
IP设置: 10.0.0.1
Node1:
操作系统:Ubuntu 16.04STL
IP设置: 10.0.0.2
IB网卡驱动下载:https://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers
IB网卡驱动安装以及Infiniband连接带宽测试_第1张图片

二、IB网卡驱动安装

2.1 解压驱动包

tar -zxvf MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64.tgz

2.2 安装

./mlnxofedinstall      # 安装程序会检查系统库,如果缺少库会直接提示使用yum install ‘缺少的库’安装,根据提示安装即可,-q参数静默安装

2.3 配置IP

点击右上角"有线连接"–>“编辑连接”—>“增加”—>“选择infiniband”—》“新建”
在这里插入图片描述注意:如下图我的设置Ipv4”方法“设置为“手动”,然后配置好ip,网关和子网掩码IB网卡驱动安装以及Infiniband连接带宽测试_第2张图片

2.4 启动服务

sudo /etc/init.d/openibd restart # 安装完成后重启主机,[在这里插入图片描述](https://img-blog.csdnimg.cn/20191016174746221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgxOTQ1Mg==,size_16,color_FFFFFF,t_70)

在这里插入图片描述

ifconfig -a    #使用ifconfig -a或者ip a就可以看到ib0,ib1...等名字的IB网卡了!

IB网卡驱动安装以及Infiniband连接带宽测试_第3张图片

2.5 IB网卡驱动卸载

进入上面解压得到的文件夹内,运行卸载脚本,即运行下面两条命令。

cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64
sudo ./uninstall.sh  #卸载完成后重启

三、Infiniband连接性带宽测试

3.1 查询IB设备信息

ibv_devices #显示系统中目前所有设备
ibv_devinfo -d mlx4_0    #查看设备具体信息

IB网卡驱动安装以及Infiniband连接带宽测试_第4张图片

3.2 测试连接性

使用简单的 ping 程序,比如 infiniband-diags 软件包中的 ibping 测试 RDMA 连接性。ibping(需要root权限) 程序采用客户端/服务器模式。必须首先在一台机器中启动 ibping 服务器,然后再另一台机器中将 ibping 作为客户端运行,并让它与 ibping 服务器相连。
Server端

sudo ibping -S -C mlx4_0 -P 1      #无任何输出

-S:以服务器端运行
-C:是CA,来自ibstat的输出
-P:端口号,来自ibstat的输出

Client端

sudo ibping -c 10000 -f -C mlx4_0 -P 1 -L 2

-c:发送10000个packet之后停止.
-f:flood destination
-C:是CA,来自ibstat的输出
-P:端口号,来自服务器端运行ibping命令时指定的-P 参数值.
-L:Base lid,来自服务器端运行ibping命令时指定的端口(-P 参数值)的base lid(参考ibstat),具体要查看服务端的Base lid,我这里是2。

在这里插入图片描述

3.3 测试带宽

一、查看两台服务器的IB卡状态

ibstat #输出ib卡的信息

二、两台服务器重启IB服务

sudo /etc/init.d/openibd restart #重启IB服务

三、两台服务器开启子网管理器

sudo /etc/init.d/opensmd start #开启子网管理器

四、第一台执行

ib_write_bw

五、第二台执行

ib_write_bw 对端的IP地址 #我这里是ib_write_bw 10.0.0.2

下图是我的写带宽
IB网卡驱动安装以及Infiniband连接带宽测试_第5张图片
六、这里测试的写带宽,如果要测试读带宽把write改成read就可以了。

3.4 测试网络延迟

延迟的测试和带宽的测试差不多,只不过在命令上有点不同只要把bw 改成lat 就行了。
一、第一台执行

ib_write_lat /ib_read_lat

二、第二台执行

ib_write_lat 对端IP地址 / ib_read_lat 对端IP地址。

IB网卡驱动安装以及Infiniband连接带宽测试_第6张图片

你可能感兴趣的:(环境配置)