shell脚本实现日志收集

一、日志分割

在日志产生端使用logrotate将日志按照小时分割

vim /etc/logrotate.conf

create
dateext
rotate 90

/dubbo_provider/log/err-service_mobile.log
/dubbo_provider/log/err-service_account.log
/dubbo_provider/log/err-service_product.log
{
    su root root
    create 0664 jerry jerry
    notifempty
    daily
    compress
    dateext
    dateformat .%Y-%m-%d-%H
    copytruncate
}

二、日志收集

日志收集脚本在生产环境zabbix_upload服务器上的/log目录下

下面将详细介绍脚本文件的作用

• /log/service_list文件

vim /log/service_list

#dubbo
dubbo1=192.168.1.101
dubbo2=192.168.1.102
dubbo3=192.168.1.103
dubbo4=192.168.1.104
dubbo5=192.168.1.105
dubbo6=192.168.1.106
dubbo7=192.168.1.107
dubbo8=192.168.1.108
dubbo9=192.168.1.109
dubbo10=192.168.1.110

该文件保存了服务器的主机名和ip地址

• /log/func文件

vim /log/func

#!/bin/bash
source /log/server_list
#项目名称service_account
service_account () {
        #日志所在服务器
        server=(dubbo1 dubbo2)
        #创建本地日志文件的存放目录
        logpath="/rizhi/rizhi/$FUNCNAME"
        mkdir -p $logpath && cd $logpath && mkdir -p ${server[*]}
        #获取远端服务器的日志文件
        for i in ${server[*]}
        do
                eval ip=\$$i
                rsync -topgrvz -e 'ssh -p 20022' jerry@$ip:/dubbo_provider/log/err-service_account* $logpath/$i
        done
}
service_message () {
        server=(dubbo9 dubbo10)
        logpath="/rizhi/rizhi/$FUNCNAME"
        mkdir -p $logpath && cd $logpath && mkdir -p ${server[*]}
        for i in ${server[*]}
        do
                eval ip=\$$i
                rsync -topgrvz -e 'ssh -p 20022' jerry@$ip:/dubbo_provider/log/err-service_message* $logpath/$i
        done
}

部分实例如上，该脚本声明了项目日志文件存放的服务器路径、本地日志存放路径等信息，每个项目作为一个函数可以被其他脚本调用。

• /log/all 文件
  vim /log/all

#!/bin/bash
#set -e
#获取func脚本中的项目函数
source /log/func
date=`date +%Y-%m-%d-%H`
echo "start log rsync at ${date}..."
#将项目函数名写在下方即可收集日志
fuiou_sftp
service_base
web_mobile
service_promotionactivities
service_recommendation
consumer_ucc
batchjob_new_source_code
service_account
service_message
service_mobile
service_operation
service_oss
service_payment
service_product
service_promotion_zhangchen
service_redis
service_smart
web_batchjob
web_batchjob_new
web_pc_back
web_pc_back_finance
web_pc_back_postloan
web_pc_front
web_publicapi
web_weixin
web_pc_zice

此文件为日志收集程序执行的主脚本。

• 日志收集定时任务

执行命令

crontab -l

#!/bin/bash
date=`date +%Y-%m-%d-%H-%M`
nohup sh /log/all >> /log/log/rsync_${date}.log 2>&1 &

定期执行日志收集脚本并打印出日志到文件.

三、同步生产日志到城建服务器

同步生产日志的到城建服务器

登陆城建服务器，切换到rizhi用户

su - rizhi
crontab -l
*/5 8-23 * * * rsync -avz --delete -e "ssh -p 9999" [email protected]:/rizhi/rizhi/* /rizhi/
#*/15 8-23 * * * rsync -avz --delete -e "ssh -p 9999" [email protected]:/rizhi/rizhi/* /jht-rizhi/

该定时任务定期同步生产日志文件到本地，研发下载日志的速度将会有很大提升。