linux系统调优-Network

qperf测试带宽

测试环境

192.168.1.11   服务器端    serverpal.example.com

192.168.2.103  客户端       server103.example.com

1.服务器与客户端安装qperf

yum install qperf

2.服务器端运行

[root@serverpal ~]# qperf

3.客户端运行

（1）[root@server103 Desktop]# qperf 192.168.1.11 conf

conf:
    loc_node   =  server103.example.com
    loc_cpu    =  4 Cores: Intel Core i5-4590 @ 3.30GHz
    loc_os     =  Linux 2.6.32-431.el6.x86_64
    loc_qperf  =  0.4.9
    rem_node   =  serverpal.example.com
    rem_cpu    =  8 Cores: Intel Xeon E3-1241 v3 @ 3.50GHz
    rem_os     =  Linux 2.6.32-431.el6.x86_64
    rem_qperf  =  0.4.9
可以查看到服务器与客户端的基本信息

（2）.查看 带宽,延时

[root@server103 Desktop]# qperf 192.168.1.11 tcp_bw tcp_lat udp_bw udp_lat
tcp_bw:
    bw  =  11.6 MB/sec
tcp_lat:
    latency  =  236 us
udp_bw:
    send_bw  =  12.1 MB/sec
    recv_bw  =    12 MB/sec
udp_lat:
    latency  =  211 us
（3）查看 服务器端处理不同包大小的具体信息

[root@server103 Desktop]# qperf -v -oo msg_size:1:8K:*2 192.168.1.11 tcp_bw tcp_lat udp_bw udp_lat

-oo 选项 msg_size:1:8K:*2 每秒发送包大小从1bytes递增到8KB，每次发送包大小为前一次的二倍

tcp_bw:
    bw              =  4.05 MB/sec
    msg_rate        =  4.05 M/sec
    msg_size        =     1 bytes
    send_cost       =   257 sec/GB
    recv_cost       =   221 sec/GB
    send_cpus_used  =   104 % cpus
    recv_cpus_used  =  89.5 % cpus
tcp_bw:
    bw              =    8 MB/sec
    msg_rate        =    4 M/sec
    msg_size        =    2 bytes
    send_cost       =  129 sec/GB
    recv_cost       =  118 sec/GB
    send_cpus_used  =  104 % cpus
    recv_cpus_used  =   94 % cpus
.......

Bonding双网卡绑定

BONDING_OPTS参数解释

此参数用于指定网卡绑定时的属性，以下是对常用参数进行的解释：

miimon参数：指定网卡故障时的切换时间间隔以ms为单位。

primary参数：指定默认的主网卡设备。

mode参数：

• 0－轮询模式，所绑定的网卡会针对访问以轮询算法进行平分。

• 1－高可用模式，运行时只使用一个网卡，其余网卡作为备份，在负载不超过单块网卡带宽或压力时建议使用。

• 2－基于HASH算法的负载均衡模式，网卡的分流按照xmit_hash_policy的TCP协议层设置来进行HASH计算分流，使各种不同处理来源的访问都尽量在同一个网卡上进行处理。

• 3－广播模式，所有被绑定的网卡都将得到相同的数据，一般用于十分特殊的网络需求，如需要对两个互相没有连接的交换机发送相同的数据。

• 4－802.3ab负载均衡模式，要求交换机也支持802.3ab模式，理论上服务器及交换机都支持此模式时，网卡带宽最高可以翻倍(如从1Gbps翻到2Gbps)

• 5－适配器输出负载均衡模式，输出的数据会通过所有被绑定的网卡输出，接收数据时则只选定其中一块网卡。如果正在用于接收数据的网卡发生故障，则由其他网卡接管，要求所用的网卡及网卡驱动可通过ethtool命令得到speed信息。

• 6－适配器输入/输出负载均衡模式，在"模式5"的基础上，在接收数据的同时实现负载均衡，除要求ethtool命令可得到speed信息外，还要求支持对网卡MAC地址的动态修改功能。

注意：

mode参数中的0、2、3、4模式要求交换机支持"ports group"功能并能进行相应的设置，例如在Cisco中要将所连接的端口设为"trunk group"。

选择绑定模式的建议

如果系统流量不超过单个网卡的带宽，请不要选择使用mode 1之外的模式，因为负载均衡需要对流量进行计算，这对系统性能会有所损耗。

建议mode 5、mode 6只在交换机不支持"ports group"的情况下选用。

双网卡冗余配置方法：

1.配置bond0网卡

vim ifcfg-bond0

DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.2.109
PREFIX=24
GATEWAY=192.168.2.1
DNS1=192.168.1.1
dns2=192.168.2.1
BONDING_OPTS="mode=1 miimon=50" 如果是mode0 则采用轮循的方式

2.配置eth0网卡

vim ifcfg-eth0

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
MASTER="bond0"
SLAVE=yes

3.配置eth1网卡

vim ifcfg-eth1

DEVICE=eth1
ONBOOT=yes
BOOTPROTO=none
MASTER="bond0"
SLAVE=yes
4.重新启动网卡

/etc/init.d/network restart

5.配置系统加载binding模块：

vim /etc/modprobe.d/bonding.conf

alias bond0 bonding

6.监控设备bond0的状况

watch cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 50
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Speed: Unknown
Duplex: Unknown
Link Failure Count: 0
Permanent HW addr: 52:54:00:21:c0:09
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: Unknown
Duplex: Unknown
Link Failure Count: 0
Permanent HW addr: 52:54:00:14:10:10
Slave queue ID: 0

可以看到两块绑定的网卡，状态显示正常

7.ifdown eth0

down掉eth0网卡，再监控bond0，可以发现只剩下eth1网卡工作了

very 2.0s: cat /proc/net/bonding/bond0                 Mon Jan 26 15:04:56 2015

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth1
MII Status: up
MII Polling Interval (ms): 50
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth1
MII Status: up
Speed: Unknown
Duplex: Unknown
Link Failure Count: 0
Permanent HW addr: 52:54:00:14:10:10
Slave queue ID: 0