实现文件实时同步,并且监控目录发送邮件给管理员

需求,需要一次性更新多台服务器,人工手动,时间较长。

并且实时监控发邮件到管理员邮箱里.


服务器架构图

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第1张图片

更新源ip:192.168.0.110

服务器ip:192.168.0.185


192.168.0.185配置

首先安装rsync

yum -y install rsync

然后等待

定义rsync配置文件/etc/rsyncd.conf 直接写了shell脚本


#!/bin/bash

cat >> /etc/rsyncd.conf << EOF

uid = nobody

gid = nobody

use chroot = no

max connections = 100

timeout = 600

pid file=/var/run/rsyucd.pid

lock file = /var/run/rsyncd.lock

log file = /var/log/rsyncd.log

[static]

path = 更新目录地址

ignore errors

read only = no

list = no

hosts allow = 192.168.0.0/255.255.255.0

auth users = www1

secrets file = /etc/www1.pwd

EOF

/etc/rsyncd.conf 其实直接在上面修改也可以的


然后运行


讲解配置参数

uid = nobody //运行RSYNC守护进程的用户
gid = nobody //运行RSYNC守护进程的组
use chroot = 0 //不使用chroot
max connections = 0 // 最大连接数,0为不限制
port = 873 //默认端口873

下面这些文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志记录文件的存放位置

Timeout = 300
通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.

Log format = %t %a %m %f %b
通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型:" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为:" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.

#transfer logging = yes
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.

syslog facility = local3
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.

模块参数
[static] //这里是认证的模块名,在client端需要指定
path = 更新目录地址 //需要做镜像的目录,不可缺少!
comment = backup web //这个模块的注释信息
ignore errors //可以忽略一些无关的IO错误
read only = yes //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no //不允许列文件
auth users = bak //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).

secrets file = /etc/www1.pwd //密码和用户名对比表,密码文件自己生成
该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如:
/etc/www1.pwd).注意:该文件的权限一定要是600,否则客户端将不能连接服务器.

hosts allow = 192.168.0.0/255.255.255.0 //允许主机或网段
该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式:
单个IP地址,例如:192.168.0.227
整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.

hosts deny = 0.0.0.0/0 //禁止主机


vi /etc/www1.pwd

www1:123

chmod 600 /etc/www1.pwd


----启动、关闭rsync程序---

rsync --daemon

netstat -anpt | grep rsync

killall -3 rsync


---使用xinetd管理rsync程序----

yum -y install xinetd

vi /etc/xinetd.d/rsync

service rsync

{

disable = no



服务器IP:192.168.0.110

vi /etc/sysctl.conf 内核参数修改

fs.inotify.max_queued_events = 16384

fs.inotify.max_user_instances = 1024

fs.inotify.max_user_watches = 1048576

sysctl -p 初始化内核参数


首先安装包

#!/bin/bash

yum install rsync -y

mkdir -p 更新目录地址,可以根据实际需要添加目录

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

tar xzvf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure

make

make install

cat >>/home/rsync.sh <


vi 1.sh

#!/bin/bash

rsync -vzrtopg --delete --progress 更新目录地址 [email protected]::static --password-file=/etc/www1.pwd

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第2张图片

发现很多报错

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/main" (in static): Operation not permitted (1)

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/website" (in static): Operation not permitted (1)

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/website/xy" (in static): Operation not permitted


这个问题是由于权限的问题,chown nobody.nobody

(1)修改前,rsync 推送文件到目标服务器出错 :



(2)去目标服务器查看 /etc/rsync.conf 文件,看uid和gid分别是什么 :



(3)然后根据配置文件,把目标服务器的目标目录,chown 目录的属主和属组

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第3张图片

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第4张图片


views/admin/cmd/sys/setplatgm.php

3281 100% 11.48kB/s 0:00:00 (xfer#356, to-check=40/471)

views/admin/cmd/sys/user.head.php

1071 100% 3.75kB/s 0:00:00 (xfer#357, to-check=39/471)

views/admin/cmd/sys/user.mod.head.php

709 100% 2.48kB/s 0:00:00 (xfer#358, to-check=38/471)

views/admin/cmd/sys/user.mod.php

4064 100% 14.22kB/s 0:00:00 (xfer#359, to-check=37/471)

views/admin/cmd/sys/user.php

2800 100% 9.80kB/s 0:00:00 (xfer#360, to-check=36/471)

views/admin/cmd/sysmsg/

views/admin/cmd/sysmsg/broadcast.head.php

1045 100% 3.66kB/s 0:00:00 (xfer#361, to-check=35/471)

views/admin/cmd/sysmsg/broadcast.php

1232 100% 4.31kB/s 0:00:00 (xfer#362, to-check=34/471)

views/admin/cmd/test/

views/admin/cmd/test/test.php

101 100% 0.35kB/s 0:00:00 (xfer#363, to-check=33/471)

views/admin/cmd/uinfo/

views/admin/datepicker/

views/admin/datepicker/My97DatePicker.htm

1389 100% 4.84kB/s 0:00:00 (xfer#364, to-check=32/471)

views/admin/datepicker/WdatePicker.js

8409 100% 29.33kB/s 0:00:00 (xfer#365, to-check=31/471)

views/admin/datepicker/calendar.js

21639 100% 75.20kB/s 0:00:00 (xfer#366, to-check=30/471)

views/admin/datepicker/config.js

223 100% 0.77kB/s 0:00:00 (xfer#367, to-check=29/471)

views/admin/datepicker/lang/

views/admin/datepicker/lang/en.js

644 100% 2.24kB/s 0:00:00 (xfer#368, to-check=26/471)

views/admin/datepicker/lang/zh-cn.js

1089 100% 3.77kB/s 0:00:00 (xfer#369, to-check=25/471)

views/admin/datepicker/lang/zh-tw.js

1088 100% 3.77kB/s 0:00:00 (xfer#370, to-check=24/471)


测试脚本:发现可以使用了,下面安装mutt+msmtp

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第5张图片

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第6张图片

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第7张图片

发现一个错误,解决如下


[root@localhost mutt-1.4.2.3]# find /usr/ -name "libiconv.so*"

/usr/local/lib/libiconv.so.2

/usr/local/lib/libiconv.so

/usr/local/lib/libiconv.so.2.5.0

[root@localhost mutt-1.4.2.3]# li -s /usr/local/lib/libiconv.so

libiconv.so libiconv.so.2 libiconv.so.2.5.0

[root@localhost mutt-1.4.2.3]# ln -s /usr/local/lib/libiconv.so.2 /usr/lib/libiconv.so.2


[root@localhost mutt-1.4.2.3]# echo "/usr/local/lib/" >>/etc/ld.so.conf

[root@localhost mutt-1.4.2.3]# ldconfig

[root@localhost mutt-1.4.2.3]# ./configure --prefix=/root/mutt-1.4.2.3

[root@localhost mutt-1.4.2.3]# mkdir -p /usr/local/msmtp/etc

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第8张图片

修改配置文件


[root@localhost mutt-1.4.2.3]# vi /root/.muttrc

set sendmail="/usr/local/msmtp/bin/msmtp" //msmtp 配置文件目录

set use_from=yes

set [email protected] //发给谁的邮件

set envelope_from=yes


[root@localhost mutt-1.4.2.3]# vi /root/.msmtprc

host smtp.qq.com

tls off

auth plain

from [email protected] //从哪个邮件发出来

user 312779641 //用户名

password 密码



[root@localhost mutt-1.4.2.3]# vi /usr/local/msmtp/etc/msmtprc

defaults

account 312779641

host smtp.qq.com

from [email protected]

auth login

port 25

tls off

user [email protected]

password 密码

account default:312779641


[root@localhost mutt-1.4.2.3]# mkdir -p /usr/local/msmtp/log

[root@localhost mutt-1.4.2.3]# echo 'set sendmail="/usr/local/msmtp/bin/msmtp"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo "set use_from=yes" >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo 'set realname="[email protected]"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo 'set editor="vim"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# ln -s /usr/local/msmtp/bin/msmtp /usr/bin

[root@localhost mutt-1.4.2.3]# /usr/local/mutt/bin/mutt -s "test" -c [email protected]


-s 邮件标题 紧接的是接收邮件地址 -c 抄送地址 "< "为邮件正文 -a是附件。

如果发送不成功,请检测下配置文件。


inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第9张图片


inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第10张图片

[root@localhost ~]# vi mon.sh 监控目录

#!/bin/bash

clear

src=更新目录地址

/usr/local/inotify/bin/inotifywait -m -r -d -o /tmp/monitor.log --timefmt '%F%T' --format '%T%w%f%e' -e modify,attrib,move,close_write,create,delete,delete_self $src


#!/bin/bash

src=更新目录地址

des1=static

user1=www1

host1="192.168.0.185"

/usr/local/bin/inotifywait -m -r -d -o /tmp/monitor.log --timefmt '%F%T' --format '%T%w%f%e' -e

modify,attrib,move,close_write,create,delete,delete_self $src| while read DIRECTORY EVENT FILE

do

rsync -vzrtopg --delete --progress 更新目录[email protected]::static --password-file=/etc/www1.pwd

echo "${files} was rsynced" >> /tmp/rsync.log 2>&1

done

-m, 即--monitor,表示始终保持事件监听状态。

-r, 即--recursive,表示递归查询目录。

-q, 即--quiet,表示打印出监控事件。

-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等

--timefmt:指定时间的输出格式

--format:指定变化文件的详细信息


[root@localhost ~]# vi send.sh

#!/bin/bash

clear

path_f=/tmp/monitor.log

[email protected]


function mutt_send()

{

/usr/local/mutt/bin/mutt -s "WARN" -c [email protected]

}

if [ -s $path_f ]; then

echo "mail send.......";sleep 1

/usr/local/mutt/bin/mutt -s "WARN" -c [email protected]

fi

cat /dev/null > $path_f



[root@localhost ~]# ll

总用量 388

-rw-r--r-- 1 root root 380 9月 17 18:13 2.sh

drwxrwxrwx 6 1000 1000 4096 9月 18 09:23 inotify-tools-3.14

-rw-r--r-- 1 root root 358772 3月 14 2010 inotify-tools-3.14.tar.gz

-rw-r--r-- 1 root root 221 9月 18 09:24 mon.sh

drwxr-xr-x 7 1000 1000 4096 9月 17 15:23 msmtp-1.4.31

drwxr-xr-x 9 3121 3121 12288 9月 17 15:25 mutt-1.4.2.3

-rw------- 1 root root 114 9月 18 09:11 nohup.out

-rw-r--r-- 1 root root 323 9月 18 09:37 send.sh

后台运行监控脚本

nohup /bin/bash /root/monitor.sh &

crontab –e

*/5****/bin/bash/root/sendmail.sh

保存退出并重启服务

/etc/init.d/crond restart

095208328.jpg

测试:

[root@localhost ~]# cd 目录

[root@localhost ]# touch 123456

[root@localhost ]# rm -rf *

[root@localhost ]# cd /root/


[root@localhost ~]# sh send.sh

mail send.......

[root@localhost ~]#

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第11张图片

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员_第12张图片