2018-08-06 Linux Virtual Server 1

1、Cluster概念

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Linux Cluster类型：
LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
MTBF:MeanTime Between Failure平均无故障时间
MTTR:MeanTime To Restoration（repair）平均恢复前时间
A=MTBF/（MTBF+MTTR）
(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
分布式系统：
分布式存储：如云盘，文件切成不同的块，存储在不同的机器上，并且互为备份
分布式计算：hadoop，Spark

2、LVS介绍

LVS：Linux Virtual Server，负载调度器，集成于内核当中的ipvs，ipvs工作在prerouting和input之间的一个关卡，进行检查设置策略，设置ipvs时要关闭iptables策略，不然会有干扰和影响.

cat /boot/config-2.6.32-696.el6.x86_64 |grep -i ipvs

VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：支持四层调度，不支持应用层，只能根据传输层以下的协议调度
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

3、lvs集群类型中的术语

VS：Virtual Server, Director, Dispatcher(调度器)
Load Balancer
RS：Real Server(lvs), upstream server(nginx)
backend server(haproxy)
CIP：Client IP
VIP: Virtual server IP VS外网的IP
DIP: Director IP VS内网的IP
在director的网卡上有两个ip，一个是公网的ip，一个是私网的ip，公网的ip就是VIP，私网的ip是DIP，一般只有一个网卡，VIP是DIP的别名。
RIP: Real server IP
访问流程：CIP <--> VIP == DIP <--> RIP

4、lvs集群的类型

lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

5、lvs-nat模式

• 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
  （1）RIP和DIP可以在同一个IP网络，且应该使用私网地址，RS的网关要指向DIP，RIP和DIP一般在一个网络里，也可以不在，中间也可以加路由器，只要设置好路由就可以了，如果有路由器，RS就指向路由器的网关
  （2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
  （3）支持端口映射，可修改请求报文的目标PORT
  （4）VS必须是Linux系统，RS可以是任意OS系统

• VS/NAT的体系结构

  
  
  

  image.png
  
  

  客户通过Virtual IP Address（虚拟服务的IP地址）访问网络服务时，请求报文到达调度器，调度器根据连接调度算法从一组真实服务器中选出一台服务器，将报文的目标地址 Virtual IP Address改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。同时，调度器在Hash 表中记录这个连接，当这个连接的下一个报文到达时，从Hash表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务器。当来自真实服务器的响应报文经过调度器时，调度器将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户。
  NAT模式IP包调度过程

  
  
  

  image.png
  
  图上的VIP和DIP的网卡是分开的，实际上可能只有一块网卡，配置两个IP。外网的IP为VIP，内网的IP为DIP

6、LVS-DR模式

• LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
• Director和各RS都配置有VIP
  (1) 确保前端路由器将目标IP为VIP的请求报文发往Director，有三种方式
  ①在前端网关做静态绑定VIP和Director的MAC地址，也就是在路由器的路由表里设置好，VIP的MAC地址为Director的MAC地址，这样请求只会到达Director，但这种方法有局限性，如果前端路由器是小区电信的路由器，你根本没有权限去修改，Director一般只有一块网卡，也就是只有一个MAC地址，但有两个ip，VIP和DIP，一般VIP是DIP的别名。
  ②在RS上使用arptables工具
  arptables -A IN -d $VIP -j DROP
  arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
  ③在RS上修改内核参数以限制arp通告及应答级别，这种方法最实用
  arp_announce
  arp_ignore
  (2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director，Director有两个ip
  (3) RS和Director要在同一个物理网络
  (4) 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
  (5) 不支持端口映射（端口不能修改）
  (6) RS可使用大多数OS系统

• VS/DR体系结构

  
  
  

  image.png
  
  

  在VS/DR 中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户。
  DR模式IP包调度过程

  
  
  

  image.png
  
  注意：每个RS上都有同样的ip地址VIP，但因为MAC地址不同，LVS调度器通过将目标的MAC地址转化为不同的MAC地址，从而调度到不同的VS真实服务器上，因为客户端访问时源地址是CIP目标地址是VIP，VS服务器回应时源地址是VIP目标地址是CIP，就可以不经过LVS 调度器，而直接返回给客户端，从而减轻LVS调度器的压力。LVS调度器在这里称为director。
  
  

  image.png