实现LNMMP

实验平台：RHEL5.8  RHEL6.4

实验环境：node1 -- node9的内网IP分别对应10.32.9.51 -- 10.32.9.59 24位掩码

          node6 node7对应一个虚拟外网IP 100.100.100.1/32

实现功能：

1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层为web服务器提供共享存储。

2、node1 node2 node3 提供wordpress个人博客服务

3、memcached缓存php应用程序查询mysql的查询结果

4、利用keepalved实现前端nginx反向代理的高可用性

实验步骤：

一、软件安装

编译安装nginx-1.4.7

./configure \
  --prefix=/usr \
  --sbin-path=/usr/sbin/nginx \
  --conf-path=/etc/nginx/nginx.conf \
  --error-log-path=/var/log/nginx/error.log \
  --http-log-path=/var/log/nginx/access.log \
  --pid-path=/var/run/nginx/nginx.pid  \
  --lock-path=/var/lock/nginx.lock \
  --user=nginx \
  --group=nginx \
  --with-http_ssl_module \
  --with-http_flv_module \
  --with-http_stub_status_module \
  --with-http_gzip_static_module \
  --http-client-body-temp-path=/var/tmp/nginx/client/ \
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
  --http-scgi-temp-path=/var/tmp/nginx/scgi \
  --with-pcre \
  --with-file-aio 
make && make install

为nginx提供启动脚本，并添加运行nginx时用户nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}

 

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)

        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

yum方式安装keepalived.x86_64 0:1.2.7-3.el6

yum方式安装memcached.x86_64 0:1.4.4-3.el6

yum方式安装scsi-target-utils.x86_64

yum方式安装gfs2-utils 

yum方式安装lvm2-cluster.x86_64 

yum方式安装cman-2.0.115-96.el5.x86_64.rpm

通用二进制安装mysql5.5

1、创建mysql用户mysql组,安装目录/usr/local/mysql

2、创建数据目录/mydata/data 并设置数据目录的属主、属组为mysql

3、mysql目录的属组设置为root 属组设置为mysql

4、cp support-files/mysql.server /etc/init.d/mysqld 复制启动脚本

5、cp support-files/my-large.cnf /etc/my.cnf 复制配置文件

6、修改配置文件

   datadir=/mydata/data

   innodb_file_per_table = ON

  log-bin=mysql-binlog  二进制日志存放目录，这里直接存放在数据目录中，生产环境建议分离存放

7、初始化数据库

   ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data

8、service mysqld start 启动数据库

9、输出库文件及头文件及man page文件

   库文件输出vi /etc/ld.so.conf.d/mysql  添加/usr/local/mysql/lib

   头文件输出ln -s /usr/local/mysql/include/ /usr/include/mysql

   man page文件输出  MANPATH /usr/local/mysql/man

编译安装php-5.4.19.tar.bz2

1、编译安装PHP

./configure --prefix=/usr/local/php --with-mysql=mysqlnd --with-openssl --with-mysqli=mysqlnd --enable-mbstring --with-freetype-dir --with-gpg-dir --with-png-dir  --with-zlib --with-libxml-dir=/usr  --enable-sockets --enable-fpm --with-mycrypt  --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d  --with-bz2 --enable-maintainer-zts

make && make install

备注--enable-fpm使php工作在php-fpm模式下

2、配置PHP

2.1为其提供服务脚本,源码包里cp /sapi/fpm/init.d.php-fpm到相应目录

2.2cp /usr/local/php/etc/php-fpm.conf.default  /usr/local/php/etc/php-fpm.conf

为php-fpm提供配置文件并修改监听地址及启动开启的进程数、最小空闲进程、最大空闲进程

2.3复制源码包下的php.ini-production到/etc/php.ini即可成为php配置文件

3、编译安装xcache

3.1xcache源代码目录下执行/usr/local/php/bin/phpize

3.2 ./configure  --enable-xcache --with-php-config=/usr/local/php/bin/php-config

3.3 make && make install

二、实现功能

1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。

node9  提供ISCSI共享存储

编辑/etc/tgt/targets.conf 添加如下

   ---- iqn名字
   backing-store /dev/sdb>    ---- 共享设备名
        vendor_id back1
        lun 3                  ---- lun id
   
    incominguser store redhat     ---访问iscsi服务器的用户账户级密码

service tgtd start 启动iscsi服务

node1

编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn

InitiatorName=iqn.2014-07.org.kernel:client51

编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码

node.session.auth.authmethod = CHAP

node.session.auth.username = store

node.session.auth.password = redhat

service iscsi restart 重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260  发现服务端通过iscsi协议共享的设备

iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

因为基于ipsan使用共享存储，共享存储要解决同时读写的问题，就需要使用集群文件系统gfs2来实现分布式锁管理DLM,而gfs2的分布式锁管理器依赖于gfs_control dlm_control,在RHEL5中安装cman既可以自行管理，通过集群底层message layer 既cman来同步各个节点的DLM。CLVM是基于GFS2之上的集群逻辑卷

node1 node2需要能够互相解析对方主机名，因此可以编辑hosts文件后，同步双方hosts文件

ccs_tool create mycluster  创建集群，集群名字为mycluster

ccs_tool addfence metaware fence_manual  添加一个fence设备为肉键

ccs_tool addnode -n 1 -v 1 -f metaware node1.kernel.org 添加集群节点，-n为id，-v为该节点用于的票数，-f指定fence设备  node1.kernel.org为节点主机名

ccs_tool addnode -n 2 -v 1 -f metaware node2.kernel.org

而后同步 /etc/cluster/cluster.conf 至node2相同位置，双方均启动cman服务即完成了集群底层的配置，只是这个集群没有资源，而我们要用到的仅是集群的底层传输功能，启动服务后可以使用ccs_tool lsnode命令行查看集群节点

启用集群逻辑卷功能，并启动clvm服务

lvmconf --enable-cluster

service clvmd start

而后既可以创建逻辑卷

pvcreate /dev/sdb

vgcreate vg10 /dev/sdb

lvcreate -L 50G -n webstore vg10

使用集群文件系统进行格式化并挂载后既可以使用

mkfs.gfs2 -j 2 -p lock_dlm -t mycluster:node1 /dev/mapper/vg10-webstore 

-j 指定日志数，这里每个集群节点需要占一个日志

-p 指定协议，这里要使用分布式锁协议

-t 指定锁名字，格式为 集群名:节点锁名

node2

编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn

InitiatorName=iqn.2014-07.org.kernel:client52

编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码

node.session.auth.authmethod = CHAP

node.session.auth.username = store

node.session.auth.password = redhat

service iscsi restart  重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260  发现服务端通过iscsi协议共享的设备

iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

启用集群逻辑卷功能

lvmconf --enable-cluster

service clvmd start

而后既可以看到由node1创建的集群逻辑卷，可以直接挂载使用

2、node1 node2 node3 提供wordpress个人博客服务

编辑nginx.conf，定义如下配置

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;    sendfile功能的开启
    keepalive_timeout  65;   持久连接超时时长
    gzip  on;   开启gzip压缩功能
    server {    定义一个虚拟主机
        listen       80;     监听在80端口
        server_name  node1.kernel.org;   主机名
        charset utf8;   字符集
        location / {     定义一个目录
            root   /opt;   指定该location的根目录
            index  index.html index.htm index.php;   默认页面文件(index.php一定要加)
        }
        location ~ \.php$ {    匹配.php结尾的URI转发至127.0.0.1:9000
            root           /opt;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
            fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            include        fastcgi_params;
        }
    }
}

编辑/etc/nginx/fastcgi_params，将其内容更改为如下内容：

fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;
fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;
fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;

（$都是nginx的变量  而SERVER_NAME都是php-fpm的变量，nginx把相关的变量直接传递给php）

node3上创建一个支持远程连接的mysql账号

mysql> grant all on *.* to wordpress@"10.32.9.%" identified by "redhat";

mysql> flush privileges;

接下来安装wordpress，按照网站提示步骤输入即可建立wordpress个人博客站点

（复制wp-config-sample.php wp-config.php作为配置文件并输入相关信息如数据库）

（后期实验需要这里同步node1 node2 nginx的配置文件）

3、memcached缓存php应用程序查询mysql的查询结果

为php安装memcached扩展

php与在访问时主动查询缓存，如果缓存没有则查询数据库，然后缓存到缓存，这种机制是通过php的模块memcache来实现的，这里编译安装php的这个子模块

# tar xf memcache-2.2.5.tgz    （php官方查找）

# cd memcache-2.2.5

/usr/local/php/bin/phpize

# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache

# make && make install

上述安装完后会有类似以下的提示：

Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/

②编辑php.ini在“动态模块Directory in which the loadable extensions (modules) reside.”相关的位置添加如下一行来载入memcache扩展：

extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/memcache.so

提供测试php脚本

connect("10.32.9.58", 11211)  or die("Could not connect");   --------- 该测试就是连接的memcache缓存服务器,如果连接成功则返回memcached版本以及存储及查询键等
$version = $mem->getVersion();
echo "Server's version: ".$version."
\n";
$mem->set('hellokey', 'Hello World', 0, 600) or die("Failed to save data at the memcached server");
echo "Store data in the cache (data will expire in 600 seconds)
\n";
$get_result = $mem->get('hellokey');
echo "$get_result is from memcached server.";         
?>

可以在任意节点安装memadmin监控memcache各项参数，如

4、利用keepalved实现前端nginx反向代理的高可用性

为node6提供keepalived的配置文件

vrrp_script chk_nginx {     -----定义vrrp trace的脚本，keepalived丰富特性1就在于此，注意该脚本需要在配置文件之前，只有先定义了后面才能调用
    script "/sbin/pidof nginx" ---script 后可以是脚本也可以是命令，这里检测nginx pid文件是否存在
    interval 2   ---- 检测间隔为2s
    weight -20   ----如果script返回的1的命令状态，那么优先级-20
    fall 2  ---- 检测2次都返回1的错误命令状态才算失败
    rise 1  ---- 检测1次返回0的正确命令状态则就算成功
}
vrrp_instance VI_1 {   ----定义vrrp实例
    state MASTER       ----初始状态为”主“
    interface eth1     ----通过eth1端口发送vrrp协议报文
    virtual_router_id 51 ---这里为vrrp组ID
    priority 100  ----优先级为100，
    advert_int 1  ----每秒发送1次vrrp通告
    authentication {
        auth_type root   -- 认证账户
        auth_pass redhat  --- 认证密码
    }
    virtual_ipaddress {
        100.100.100.1/30 label eth1:1    --- 虚拟VIP的地址掩码及别名
    }
    track_script {      --- 追踪的脚本，这里调用上面定义的vrrp_scrpit
        chk_nginx
    }
    notify_backup "/etc/keepalived/restart.sh"  ---- 切换为从节点状态所执行的脚本，这里是keepalived的丰富特性2定义，可以在脚本里做邮件通知，服务重启，等等等任何想做的事。这里restart.sh由于为nginx提供高可用，因此定义当主节点成为备用节点时重新启动nginx服务，与vrrp_scrpit检测nginx服务状态相互对应
}
注意keepalived默认是工作在抢占模式，如果需要不抢占则在实例中定义nopreempt

为node7提供keepalived的配置文件

vrrp_instance VI_1 {
    state SLAVE   ----初始状态为从节点
    interface eth1
    virtual_router_id 51
    priority 90  ----优先级别小于主节点
    advert_int 1
    authentication {
        auth_type root
        auth_pass redhat
    }
    virtual_ipaddress {
        100.100.100.1/30 label eth1:1
    }
    notify_master "/etc/keepalived/check.sh" 
}

备用节点由于只是备用，且为nginx提供高可用，因此需要在切换到主节点时，确保nginx服务处于运行状态,check.sh简单脚本既实现检测服务状态，如果没有启动nginx服务则启动之。

验证主节点 node6

验证从节点node7(停止nginx服务；且尚未成为主节点既没有vip；主节点关闭接口时ifconfig发现vip已经过来既成为了主节点，此时触发了脚本检测nginx服务未运行则重新启动该服务)

5、nginx作为反向代理实现node1 node2的负载均衡