IB网卡驱动安装以及Infiniband连接带宽测试

一、环境与安装包

Node0:
操作系统：Ubuntu 16.04STL
IP设置： 10.0.0.1
Node1:
操作系统：Ubuntu 16.04STL
IP设置： 10.0.0.2
IB网卡驱动下载：https://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers

二、IB网卡驱动安装

2.1 解压驱动包

tar -zxvf MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64.tgz

2.2 安装

./mlnxofedinstall      # 安装程序会检查系统库，如果缺少库会直接提示使用yum install ‘缺少的库’安装，根据提示安装即可，-q参数静默安装

2.3 配置IP

点击右上角"有线连接"–>“编辑连接”—>“增加”—>“选择infiniband”—》“新建”
注意：如下图我的设置Ipv4”方法“设置为“手动”，然后配置好ip，网关和子网掩码

2.4 启动服务

sudo /etc/init.d/openibd restart # 安装完成后重启主机，[在这里插入图片描述](https://img-blog.csdnimg.cn/20191016174746221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgxOTQ1Mg==,size_16,color_FFFFFF,t_70)

ifconfig -a    #使用ifconfig -a或者ip a就可以看到ib0,ib1...等名字的IB网卡了!

2.5 IB网卡驱动卸载

进入上面解压得到的文件夹内，运行卸载脚本，即运行下面两条命令。

cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64

sudo ./uninstall.sh  #卸载完成后重启

三、Infiniband连接性带宽测试

3.1 查询IB设备信息

ibv_devices #显示系统中目前所有设备

ibv_devinfo -d mlx4_0    #查看设备具体信息

3.2 测试连接性

使用简单的 ping 程序，比如 infiniband-diags 软件包中的 ibping 测试 RDMA 连接性。ibping（需要root权限） 程序采用客户端/服务器模式。必须首先在一台机器中启动 ibping 服务器，然后再另一台机器中将 ibping 作为客户端运行，并让它与 ibping 服务器相连。
Server端

sudo ibping -S -C mlx4_0 -P 1      #无任何输出

-S：以服务器端运行
-C：是CA,来自ibstat的输出
-P：端口号,来自ibstat的输出

Client端

sudo ibping -c 10000 -f -C mlx4_0 -P 1 -L 2

-c：发送10000个packet之后停止.
-f：flood destination
-C：是CA,来自ibstat的输出
-P：端口号,来自服务器端运行ibping命令时指定的-P 参数值.
-L：Base lid,来自服务器端运行ibping命令时指定的端口(-P 参数值)的base lid(参考ibstat)，具体要查看服务端的Base lid，我这里是2。

3.3 测试带宽

一、查看两台服务器的IB卡状态

ibstat #输出ib卡的信息

二、两台服务器重启IB服务

sudo /etc/init.d/openibd restart #重启IB服务

三、两台服务器开启子网管理器

sudo /etc/init.d/opensmd start #开启子网管理器

四、第一台执行

ib_write_bw

五、第二台执行

ib_write_bw 对端的IP地址 #我这里是ib_write_bw 10.0.0.2

下图是我的写带宽

六、这里测试的写带宽，如果要测试读带宽把write改成read就可以了。

3.4 测试网络延迟

延迟的测试和带宽的测试差不多，只不过在命令上有点不同只要把bw 改成lat 就行了。
一、第一台执行

ib_write_lat /ib_read_lat

二、第二台执行

ib_write_lat 对端IP地址 / ib_read_lat 对端IP地址。