使用ubuntu+haproxy+heartbeat搭建大规模WEB集群环境实现负载均衡。

1.目的

通过此作业指导书，知道如何使用ubuntu+haproxy+heartbeat搭建大规模WEB集群环 境，实现负载均衡。

2.适用范围

所有系统管理员。

3．定义

l Ubuntu 开源的LINUX服务器操作系统.

l Haproxy Haproxy提供高可用性、负载均衡 以及基于TCP和HTTP应用

的代理，它是免费、快速并且可靠的一种解决方案

l Heartbeat 用于实现故障转移，当一台机器DOWN后自动切换到备用机器

l Web服务器 包括Apache,Lighttpd,Nginx

l Openfiler 这是一个基于LINUX的NAS，用来建立Iscsi服务器

一 环境

1．硬件

服务器：

DELL 2950 1台

DELL 1950 1台

2U组装机 2台

1U组装机 1台

交换机：

H3C千M交换机

2.网络环境

· Load Balancer 1: lb1.ylmf.com, IP address: 192.168.1.100 eth0

· Load Balancer 2: lb2.ylmf.com, IP address: 192.168.1.101 eth0

· Web Server 1: web1.ylmf.com, IP address: 192.168.1.102 eth0

· Web Server 2: web2.ylmf.com, IP address: 192.168.1.103 eth0

· Iscsi target:openfiler.ylmf.com,IP address:192.168.1.104 eth0

· lb1 and lb2共享IP: 192.168.1.99

3.所需要的软件

操作系统：Ubuntu server 8.0.4

Lb1和lb2:haproxy heartbeat

Web1和web2:Apache2

Iscsi target:Openfiler

二 Web服务器配置

在web1和 web2上配置

1．设置自动登录到iscsi target(openfiler)

安装open-iscsi

Apt-get install open-iscsi

发现iscsi-target

iscsiadm -m discovery -t sendtargets -p 192.168.1.104

设置开机自动登录到iscsi-target

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.6f5d0fb29fc9 -p 192.168.1.104 –op update -n node.startup -v automatic

说明：-T后面的字符串是执行发现iscsi-target所获得的连接字符串

很多时候设置自动登录不成功，是因为在/etc/rc.local里面设置了dhclient

自动获取IP，这样自动登录到ISCSI的时候网络是不通的，所以不成功。

需要在/etc/network/interfaces里面设置自动获取IP地址

如: auto eth0

iface eth0 inet dhcp

2．格式化ISCSI磁盘并设置自动挂载

使用fdisk –l查看磁盘分区

fdisk -l

说明：/dev/sdb 164.4GB是iscsi磁盘

fdisk /dev/sdb #对磁盘进行分区

mkfs.ext3 /dev/sdb1 #将sdb1分区格式化为ext3文件系统

建立挂载目录

mkdir /iscsi

开机自动挂载

vi /etc/fstab

/dev/sdb1 /iscsi ext3 relatime 0 2 #增加这一行

3．安装web server

Apt-get install apache2

2)修改web服务器日志格式

Vi /etc/apache2/apache2.conf

#LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

LogFormat “%{X-Forwarded-For}i %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

注释掉原来的CustomLog，并修改文档根路径为/iscsi/www

vi /etc/apache2/sites-available/default

SetEnvIf Request_URI “^/check\.txt$” dontlog

CustomLog /var/log/apache2/access.log combined env=!dontlog

/etc/init.d/apache2 restart #重启web服务器

4)建立check文件,haproxy使用该文件检查WEB状态，必须建立

Touch /iscsi/www/check.txt

Web服务器配置完成，很简单，lb1和lb2就要复杂一些

三配置负载均衡haproxy

在lb1和lb2上配置

1．修改hosts文件

Vi /etc/hosts

192.168.1.100 lb1.ylmf.com

192.168.1.101 lb2.ylmf.com

192.168.1.102 web1.ylmf.com

192.168.1.103 web2.ylmf.com

2.安装软件

Apt-get install haproxy

3.修改haproxy配置文件

Cp /etc/haproxy.cfg /etc/haproxy.cfg.bak

Cat /dev/null > /etc/haproxy.cfg

Vi /etc/haproxy.cfg

global

log 127.0.0.1 local0

log 127.0.0.1 local1 notice

#log loghost local0 info

maxconn 4096

#debug

#quiet

user haproxy

group haproxy

defaults

log global

mode http

option httplog

option dontlognull

retries 3

redispatch

maxconn 2000

contimeout 5000

clitimeout 50000

srvtimeout 50000

listen webfarm 192.168.1.99:80

mode http

stats enable

stats auth ylmf:ylmf

balance roundrobin

cookie JSESSIONID prefix

option httpclose

option forwardfor

option httpchk HEAD /check.txt HTTP/1.0

server webA 192.168.1.102:80 cookie A check

server webB 192.168.1.103:80 cookie B check

4.修改默认配置，让haproxy开机自动启动

Vi /etc/default/haproxy

# Set ENABLED to 1 if you want the init script to start haproxy.

ENABLED=1

# Add extra flags here.

#EXTRAOPTS=”-de -m 16″

四配置heartbeat高可用

Active/Standby 模式

Lb1和lb2上配置

1.安装

Apt-get install heartbeat

2.修改内核参数

Vi /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind=1

sysctl –p #让设置生效

3．设置授权KEY

vi /etc/ha.d/authkeys

auth 3

3 md5 somerandomstring

chmod 600 /etc/ha.d/authkeys #修改权限

4．添加ha资源

vi /etc/ha.d/haresources

lb1.ylmf.com 192.168.1.99

在lb1上配置

vi /etc/ha.d/ha.cf

# # keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.101 #这个IP是lb2的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com

在lb2上配置

vi /etc/ha.d/ha.cf

# # keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.100 #这个IP是lb1的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com

5．设置开机自动启动heartbeat

vi /etc/rc.local

/etc/init.d/heartbeat start

Active/Active模式

在lb1和lb2的ha.cf里面增加一行

auto_failback on

在lb1上

vi /etc/ha.d/haresources

lb1.ylmf.com 192.168.1.99

在lb2上

vi /etc/ha.d/haresources

lb2.ylmf.com 192.168.1.99

参考文档http://www.hiadmin.com/ha%E9%85%8D%E7%BD%AE%E6%96%B9%E6%B3%95/

五测试

1.启动heartbeat

/etc/init.d/heartbeat start

2.启动haproxy

/etc/init.d/haproxy start

3.在lb1和lb2上查看接口信息

Ifconfig 或 ip addr sh eth0

4.查看haproxy状态

http://192.168.1.99/haproxy?stats

六 haproxy参考文档

官方网址：http://cn.haproxy.org/

描述

HAProxy提供高可用 性、负载均衡 以及基于TCP和HTTP应用的代理，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会 话保持或七层处理。 HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的 web服务器不被暴露到网络上， 如下所示：

当前，版本1.3， 它支持如下新特性：

• 内容交换 : 可以根据请求(request)的任何一部分来选择一组服 务器, 比如请求的 URI, Host头(header), cookie, 以及其他任何东西. 当然，对那些静态分离的站点来说，对此特性还有更多的需求。
• 全透明代理 : 可以用 客户端IP地 址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补 丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。
• 基于树的更快的调度器 : 1.2.16以上的版本要求所有的超时都设成同样的值以支持数以万计的全速连接. 这个特性已经移植到1.2.17.
• 内核TCP拼接 : 避免了内核到用户然后用户到内核端的数据拷贝, 提 高了吞吐量同时又降低了CPU使用率. Haproxy 1.3支持Linux L7SW 以满足在商用硬件上数Gbps的 吞吐的需求。
• 连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫(attack bots)， 也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救了很多站点。
• 细微的头部处理 : 使得编写基于header的规则更为简单，同时可以处理URI的某部分。
• 快而可靠的头部处理 : 使用完全RFC2616兼容的完整性检查对一般的请求全部 进行分析和索引仅仅需要不到2ms的时间。
• 模块化设计 : 允许更多人加入进此项目，调试也非常简单. poller已经分离, 已经使得它们的开发简单了很多. HTTP已经从TCP分离出来了， 这样增加新的七层特性变得非常简单. 其他子系统也会很快实现模块化
• 投机I/O 处理 : 在一个套接字就绪前就尝试从它读取数据。poller仅推测哪个可能就绪哪个没有，尝试猜测，并且如果成功，一些开销很大的系统调用 就可以省去了。如果失败，就会调用这些系统调用。已知的使用Linux epoll()已经净提升起码10%了。
• ACLs : 使用任意规则的任意组合作为某动作的执行条件。
• TCP 协议检查 : 结合ACL来对请求的任意部分进行检查，然后再进行转发。这就可以执行协议验证而不是盲目的进行转发。比如说允许SSL但拒绝SSH。
• 更多的负载均衡算法 : 现在，动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和 加权参数哈希(Weighted Parameter Hash)已经实现。其他算法比如Weighted Measured Response Time也很快会实现。

和其他”免费”的负载均衡解决方案不同的是, HAproxy仅被几百或者几千的遍布全球的用户使用， 但是这些用户通常运行很大的站点， 每天有数百万的点击量和几Gbps甚至几万兆(terabytes)吞吐量。 他们需要7×24的可用性并且愿意承受免费软件解决方案的风险， 同时有这些使用技术. 通常, 这种解决方案仅配置为内部使用, 我仅在他们提供给我反馈或者需要新特性的时候才会知道.

Heartbeat介绍

Linux-HA项目在广泛的平台上提供成熟的高可用(故障切换)能力，在全球支持上万个关键任务节点。 其中一小部分记录在成功案例。

Linux-HA项目是目前可用的时间最长，最多能力，和经过最好测试的开放源码高可用性解决方案，并具有最大的辅助社区．根据项目的规则，它一直 保证编译时没有警告，没有静态分析工具发现的问题．安全专家定期审查源程序．

它提供对节点，应用的监视功能，提供一个成熟的基于规则的资源配置依赖模型．当一个故障发生，或一个规则变化，用户提供的规则将指导期望的资源的重 新配置．

一般来说，它具有至少与Veritas VCS, SunCluster, LifeKeeper, ServiceGuard等商业集群软件类似的功能和同样方便的使用方法．

特性

• 工作在所有Linux的变体和平台上，并随许多Linux发行版一起打包发行．
• 支持复杂的服务间的依赖关系.可以快速准确地启动和停止资源.
• 支持强制多个资源运行在同一位置或强制多个资源运行在不同位置的规则.
• 基于规则的资源配置可以让资源精确地根据用户定义的规则,节点的属性和位置的限制条件来配置.
• 适当力度的资源管理可以让用户自己定义属性,这样可以使资源的切换基于用户自己的标准进行.
• 基于时间的规则可以根据不同时间来适用不同的规则.举例来说,用户可以设定,切换要延迟到晚上或周末进行.
• 易于理解和配置的基于init脚本的应用管理. – 对于基本管理,许多服务不需要定义新脚本.
• 资源组提供了一个简单的易于使用的服务管理.

· 活动的隔离机制(STONITH)提供强大的数据完整性保证-即使在发生一些不 寻常的故障情况下.

· 全特性的图形用户界面 – 可以用来配置，控制，监视服务和服务器的运行

· 支持工业标准的系统管理协议 CIM (Common Information Model)

• 开放源码避免了提供商占据产品，并提供非常大的灵活性，稳定性，响应度和测试.
• 在Linux上有很长的历史，并在健壮性上有良好的声望.
• 可以在单独的机器上对基于init脚本的应用进行监控和重启.
• 可以运行在FreeBSD和Solaris上，并可以移植其它类POSIX平台.

官方网址：http://www.linux-ha.org/zh/HomePage_zh