Ceph+RGW高可用部署方案
,# 基础环境准备
配置主机名
集群中节点采用统一命名规则即可
配置hosts文件解析
配置主机名与IP地址解析关系，每个配置完成后将文件拷贝到其他节点，每个节点都需要
配置免秘钥登录
配置ansible工具执行节点与其他节点的免秘钥登录，如果ansible执行节点也是ceph集群中的节点，也需要配置自身的免秘钥登录，配置方法不多说。
Yum源配置
目前使用的是阿里的源，使用起来还比较稳定，速度也还好，后期考虑把阿里源同步一份到本地内网服务器上，这样可保证后续部署其他环节保证软件版本一致。这里把我的配置文件贴出来，部署时直接复制过去即可。
[root@ceph028 yum.repos.d]# cat CentOS-Base.repo
# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client. You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the
# remarked out baseurl= line instead.
#
#
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#released updates
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
enabled = 1
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=contrib
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
这是基础源，再配置一个epel的源：
[root@ceph028 yum.repos.d]# cat epel.repo
[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://mirrors.aliyun.com/epel/7/$basearch
http://mirrors.aliyuncs.com/epel/7/$basearch
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
failovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug
http://mirrors.aliyuncs.com/epel/7/$basearch/debug
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-7&arch=$basearch
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0
[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://mirrors.aliyun.com/epel/7/SRPMS
http://mirrors.aliyuncs.com/epel/7/SRPMS
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-source-7&arch=$basearch
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0
Ceph的yum配置文件在使用ansible部署时会根据ansible的配置文件中填写的yum源地址自动生成，文件名为ceph_stable.repo,自动生成的配置文件中gpgcheck设置的值为1，但在部署时由于软件源的key未导入，会提示源无法使用，我暂时的解决方案是把ceph_stable.repo重命名后把gpgcheck设置为0。
使用ansible-ceph部署
这里使用ansible部署ceph的基础环境，部署完成后相关配置文件可再进一步优化修改。ansible部署也比较简单，主要就是以下几个配置文件修改正确即可，下面对部署过程中使用到的配置文件进行说明：
all.yml
ceph_origin:'upstream' ##表示使用第三方源来安装ceph
ceph_stable_key: http://172.29.101.162/ceph/rpm-jewel/el7/x86_64/repodata/release.asc
ceph_stable: true
ceph_mirror:http://172.29.101.62/ceph #目前临时将ceph的rpm安装包放在这台服务器上
ceph_stable_releas: jewel
ceph_stable_repo: "{ceph_mirror}/rpm-{{ceph_stable_release}}/el7/x86_64/"
cephx: true
max_open_files: 131072 #设置大些即可
rbd_cache: "false"
montitor_interface:enp26s0f3 #如果各个节点网卡名称相同，这里可以指定mon节点的网卡名称
journal_size: 40000 #osd journal size in MB
public_network: "172.29.101.0/24"
cluster_network: "10.10.10.0/24"
osd_mkfs_type: xfs
osd_mkfs_options_xfs: -f -i size=512
osd_objectstore: filestore
radosgw
ceph_conf_overrides:
global:
auth_cluster_required : cephx
auth_service_required : cephx
auth_client_required : cephx
osd pool default size : 3
osd pool default min size : 1
osd pool default pg num : 256
osd pool default pgp num : 256
osd crush chooseleaf type : 1
mon_pg_warn_max_per_osd : 1000
osd :
filestore_xattr_use_omap : true
filestore_min_sync_interval : 10
filestore_max_sync_interval : 15
filestore_queue_max_ops : 25000
mons.yml
mon_group_name: mons
#############
# OPENSTACK #
#############
openstack_config: true
openstack_glance_pool:
name: images
pg_num: "{{ osd_pool_default_pg_num }}"
openstack_cinder_pool:
name: volumes
pg_num: "{{ osd_pool_default_pg_num }}"
openstack_nova_pool:
name: vms
pg_num: "{{ osd_pool_default_pg_num }}"
openstack_pools:
- "{{ openstack_glance_pool }}"
- "{{ openstack_cinder_pool }}"
- "{{ openstack_nova_pool }}"
openstack_keys:
- { name: client.glance, value: "mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool={{ openstack_glance_pool.name }}'" }
- { name: client.cinder, value: "mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool={{ openstack_cinder_pool.name }}, allow rwx pool={{ openstack_nova_pool.name }}, allow rx pool={{ openstack_glance_pool.name }}'" }
osds.yml
devices:
- /dev/sdb
- /dev/sdc
- /dev/sdd
- /dev/sde
- /dev/sdf
- /dev/sdg
- /dev/sdh
- /dev/sdi
- /dev/sdj
- /dev/sdk
- /dev/sdl
- /dev/sdm
journal_collocation: false ##journal磁盘与osd分离,如果改为true，同时把下面的raw_multi_journal改为false，将会在osd磁盘上单独分一个分区出来作为journal使用。
raw_multi_journal: true
raw_journal_devices:
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme0n1
- /dev/nvme1n1
- /dev/nvme1n1
- /dev/nvme1n1
- /dev/nvme1n1
rgws.yml
cephx: true
create_pools:
defaults.rgw.buckets.data:
pg_num: 64
defaults.rgw.buckets.index:
pg_num: 32
defaults.rgw.root:
pg_num: 8
defaults.rgw.control:
pg_num: 16
defaults.rgw.gc:
pg_num: 16
defaults.rgw.buckets:
pg_num: 16
defaults.rgw.buckets.extra:
pg_num: 16
defaults.log:
pg_num: 8
defaults.intent-log:
pg_num: 16
defaults.usage:
pg_num: 16
defaults.users:
pg_num: 16
defaults.users.email:
pg_num: 8
defaults.users.uid:
pg_num: 8
以上配置文件在group_vars目录下，直接从sample文件中拷贝一份过来，再在上面安装以上的参数进行修改即可。最后在ansible目录下还有个site.yml文件需要修改。
- hosts:
- mons
- osds
- rgws
配置hosts文件
这里通过hosts文件指定待安装的节点及对应的角色。
[root@ceph028 ceph-ansible]# cat hosts
[mons]
ceph028
ceph029
ceph030
[osds]
ceph028
ceph029
ceph030
[rgws]
ceph028
ceph029
ceph030
添加rgw配置
在ceph.conf中添加一个名为gateway的实例,以Nginx为前端
[client.radosgw.gateway]
rgw_frontends = fastcgi
host = {hostname}
keyring = /etc/ceph/ceph.client.radosgw.keyring
rgw_socket_path = /var/run/ceph/ceph.radosgw.gateway.sock
log_file = /var/log/ceph/radosgw.log
rgw_print_continue = false
rgw_content_length_compat = true集群缩容
ceph-ansible实现了正对osd和mon的缩容操作，里面有个shrink-osd.yml,shrink-mon.yml文件，
只需要编辑一下缩容host即可
hosts:
- obj001
- obj002
- obj003缩容osd：
ansible-playbook shrink-osd.yml -e osd_ids=26,27,29,30,32,34,35,23 -i multinode 需指定待删除的osd的id号
缩容mon
ansible-playbook shrink-mon.yml -e mon_host=obj001,obj002ceph秘钥创建
如果部署过程中创建的key有问题，可以手动执行下面的命令进行创建：
ceph auth get-or-create client.nova mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images, allow rwx pool=vms, allow rwx pool=volumes, allow rwx pool=backups' > /etc/ceph/ceph.client.nova.keyring
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images, allow rwx pool=vms, allow rwx pool=volumes, allow rwx pool=backups' > /etc/ceph/ceph.client.glance.keyring
ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images, allow rwx pool=vms, allow rwx pool=volumes, allow rwx pool=backups' > /etc/ceph/ceph.client.cinder.keyring配置RGW高可用
通过调研了解，使用Nginx+Keepalived的方式来实现RGW网关服务的负载均衡及高可用。
配置nginx
安装nginx
使用源码安装
yum install -y pcre-devel.x86_64 openssl-devel zlib-devel gcc gcc-c++
wget http://172.16.59.173/data/nginx-1.12.2.tar.gz
./configure --group=nginx --user=root --prefix=/usr/local/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/tmp/nginx/client_body --http-proxy-temp-path=/tmp/nginx/proxy --http-fastcgi-temp-path=/tmp/nginx/fastcgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-pcre
make -j30
make install在/etc/nginx/nginx.conf文件的http段下添加如下内容：
worker_processes 40;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
client_max_body_size 10240m;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
server {
listen 80;
server_name ceph028.ceph.com;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
fastcgi_pass_header Authorization;
fastcgi_pass_request_headers on;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_param CONTENT_LENGTH $content_length;
if ($request_method = PUT) {
rewrite ^ /PUT$request_uri;
}
include fastcgi_params;
fastcgi_pass unix:/var/run/ceph/ceph.rgw.ceph028.sock;
}
location /PUT/ {
internal;
fastcgi_pass_header Authorization;
fastcgi_pass_request_headers on;
include fastcgi_params;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_param CONTENT_TYPE $content_type;
fastcgi_pass unix:/var/run/ceph/ceph.rgw.ceph028.sock;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
注意： fastcgi_pass 指向的路径需要与ceph.conf中配置的路径一致,这里安装时使用的是root账号，一开始使用nginx账号安装时在访问rgw sock时会提示拒绝访问。
启动nginx：
nginx让nginx配置生效：
nginx -s reload加到开机启动项中:
echo nginx >> /etc/rc.local
chmod +x /etc/rc.d/rc.local通过上面的安装->创建用户->创建存储池->配置过程，rgw也就准备就绪了，可以通过下面的命令启动实例：
systemctl status ceph-radosgw@rgw.ceph029测试：
ceph rgw的测试方式有：s3cmd, cosbench,也可以通过python库boto自己写测试程序。个人感觉cosbench很不错，大家可以试试,后面有时间再写下cosbench的使用方法。
LVS部署+Keepalived
配置环境
角色 IP 说明
VIP 172.29.101.250 集群入口
LVS-DR-Master 172.29.109.162 LVS主节点
LVS-DR-Backup 172.29.109.163 LVS备节点
RGW 172.29.109.162 网关节点
RGW 172.29.109.163 网关节点
RGW 172.29.109.164 网关节点
安装keepalived和ipvsadm
在 LVS-DR-Master 和 LVS-DR-Backup 节点直接执行
yum install -y keepalived ipvsadm修改主节点 LVS-DR-Master 上的配置 /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
}
vrrp_instance VI_1 {
state MASTER #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
interface em2 #指定HA监测网络的接口
virtual_router_id 49 #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
priority 100 #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型，主要有PASS和AH两种
auth_pass 49 #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress { #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
172.29.101.250
}
}
virtual_server 172.29.101.250 8080 { #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒
lb_algo rr #设置负载调度算法，这里设置为wlc，即加权最少连接数算法
lb_kind DR #设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选
nat_mask 255.255.255.0
persistence_timeout 0 #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。
#有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。
#需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作
#那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受persistence_timeout的时间限制
protocol TCP #指定转发协议类型，有TCP和UDP两种
real_server 172.29.101.162 8080 { #配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开
weight 100 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器
#分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
TCP_CHECK { #realserver的状态检测设置部分，单位是秒
connect_timeout 3 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 8080
}
}
real_server 172.29.101.163 8080 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8080
}
}
real_server 172.29.101.164 8080 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8080
}
}
}
将该配置文件拷贝到 LVS-DR-Backup 的 /etc/keepalived/ 目录下，修改其中的网卡与权重主从配置
! Configuration File for keepalived
global_defs {
}
vrrp_instance VI_1 {
state BACKUP #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
interface em2 #指定HA监测网络的接口
virtual_router_id 49 #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
priority 90 #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型，主要有PASS和AH两种
auth_pass 49 #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress { #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
172.29.101.250
}
}
virtual_server 172.29.101.250 8080 { #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒
lb_algo rr #设置负载调度算法，这里设置为wlc，即加权最少连接数算法
lb_kind DR #设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选
nat_mask 255.255.255.0
persistence_timeout 0 #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。
#有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。
#需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作
#那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受persistence_timeout的时间限制
protocol TCP #指定转发协议类型，有TCP和UDP两种
real_server 172.29.101.162 8080 { #配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开
weight 100 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器
#分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
TCP_CHECK { #realserver的状态检测设置部分，单位是秒
connect_timeout 3 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 8080
}
}
real_server 172.29.101.163 8080 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8080
}
}
real_server 172.29.101.164 8080 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8080
}
}
}配置RGW-Realserver
为了方便，我们将其写入到脚步里，分发到所有 RGW-Realserver 节点并执行，脚本内容为
[root@localhost ~]# cat realserver.sh
#!/bin/bash
#description: Config realserver
VIP=172.29.101.250
/etc/rc.d/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0启动脚本
chmod 755 /etc/rc.d/init.d/functions
sh realserver.sh start
[root@storage002 ~]# ip addr
1: lo: mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 172.29.101.250/32 brd 172.29.101.250 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever 可以看到VIP已经绑定成功
LVS网卡优化
该优化需要在 LVS-DR-Master & Backup 上执行
关闭网卡LRO/GRO功能
现在大多数网卡都具有LRO/GRO功能，即 网卡收包时将同一流的小包合并成大包 （tcpdump抓包可以看到>MTU 1500bytes的数据包）交给 内核协议栈；LVS内核模块在处理>MTU的数据包时，会丢弃；
因此，如果我们用LVS来传输大文件，很容易出现丢包，传输速度慢；
解决方法，关闭LRO/GRO功能，命令：
ethtool -k em2 #查看LRO/GRO当前是否打开
ethtool -K em2 lro off #关闭LRO
ethtool -K em2 gro off #关闭GRO启动keeaplived服务
分别在 LVS-DR-Master & Backup 上执行
systemctl start keepalived
systemctl enable keepalived通过 ipvsadm -L 查看后端服务链接情况