Ubuntu节点的万兆网搭建

之前用千兆网跑MXNet的分布式,由于训练数据量比较大并且通信比较频繁,网络通信开销太大,训练速度非常慢,正好实验室有闲置的万兆网设备(万兆网卡、万兆交换机),因此打算给各个工作节点配上万兆网卡(Chelsio T310),并共同接入万兆交换机(RackSwitch G8100)中,下面说一下具体过程。

1、插网卡

将万兆网卡插入节点的PCI插槽中(节点要有空闲的PCI插槽才行)

2、安装网卡驱动

(1)节点的系统是Ubuntu 14.04桌面版的,系统已经集成了相应的驱动,可以不用安装了,没有驱动的话也可以去网卡设备商官网下载安装即可。

(2)使用命令,查看是否安装成功。

lspci | grep 'et'


可以看到系统识别到了两个网卡,一个是千兆网卡,另一个是万兆网卡也就是刚刚安装的Chelsio T310。

3、配置万兆网卡地址

使用命令,查看当前网卡IP的配置情况。

ifconfig

Ubuntu节点的万兆网搭建_第1张图片

可以看到千兆网卡eth0已经配置好了IP地址,而万兆网卡eth1还没配置好IP,我们的万兆交换机没有外网接入,因此打算把千兆网卡

配置为外网,万兆网卡配置为内网。

修改网络配置文件:

sudo vim /etc/network/interfaces

配置信息如下:
# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 211.69.198.225
netmask 255.255.255.0
dns-nameservers *.*.*.*(自己的dns地址)
auto eth1
iface eth1 inet static
address 192.168.0.1
netmask 255.255.255.0

配置完后重启节点,再次使用ifconfig命令查看:

Ubuntu节点的万兆网搭建_第2张图片

可以看到万兆网卡eth1已经配置好了地址了。

使用相同的方法,给另外一个节点IP配置成192.168.0.2,在节点1中,使用命令:ping 192.168.0.2,ping通了,说明网络可以连通,结果如下:

Ubuntu节点的万兆网搭建_第3张图片

4、测试万兆网的效果

可以使用命令查看,结果如下:

nm-tool 

Ubuntu节点的万兆网搭建_第4张图片

当然还是自己用命令测一下实际效果更踏实一点,我们使用iperf3命令测试,iperf3安装命令:

sudo apt-get install iperf3

(在此提醒一点,不要用iperf2版本测,因为这个版本对万兆光纤网支持不是很好,测试结果会有误)
使用iperf3命令,一个节点做服务端,另外一个节点做客户端。

服务端命令:

iperf3 -s

客户端命令:

(1)测试千兆网:

iperf3 -c 211.69.198.225 (-c 参数后跟服务端的千兆网卡ip)

结果如下:

Ubuntu节点的万兆网搭建_第5张图片


(2)测试万兆网:

iperf3 -c 192.168.0.1 (-c 参数后跟服务端的万兆网卡ip)

结果如下:

Ubuntu节点的万兆网搭建_第6张图片


按以上方法给各个gpu节点搭建万兆网即可。

接下来就可以使用万兆网跑MXNet的分布式了(如果你有InfiniBand网络就最好了,万兆光纤网只能算是一种折中吧)。

你可能感兴趣的:(linux)