flume定时采集日志的配置

1 Flume安装和配置

1．在10台日志服务器和1台日志收集服务器上分别上传apache-flume-1.6.0-bin.tar安装包。

2．解压apache-flume-1.6.0-bin.tar安装包。

tar -zxvf apache-flume-1.6.0-bin.tar

3．修改配置文件

1) 进入解压后flume的conf目录，使用vim命令编辑flume-env.sh.template的文件，修改下面的配置，然后保存退出。

export JAVA_HOME=/home/super/software/jdk/jdk1.7.0_80/

注意：

1. 去掉开头 #的注释

2. Jdk为服务器中jdk的路径  

2) 把名为flume-env.sh.template的文件去掉.template后缀

mv flume-env.sh.template flume-env.sh

2 日志服务器相关配置

1、编写flume采集日志配置

vim logserver.conf

#gent的名称为"logserver" logserver.sources = r1 logserver.sinks = k1 logserver.channels = c1   #source配置信息 logserver.sources.r1.type = spooldir #日志服务器IP地址（需要修改） logserver.sources.r1.bind = 10.34.1.116 logserver.sources.r1.port = 55555 #日志服务器日志存放目录（需要修改） logserver.sources.r1.spoolDir = /home/super/logs/   #sink配置信息 logserver.sinks.k1.type = avro #出口审计检测引擎服务器IP地址 logserver.sinks.k1.hostname = 10.34.1.118 logserver.sinks.k1.port = 44444   #channel配置信息 logserver.channels.c1.type = memory logserver.channels.c1.capacity = 1000 logserver.channels.c1.transactionCapacity = 100   #将source和sink绑定至该channel上 logserver.sources.r1.channels = c1 logserver.sinks.k1.channel = c1

 

2、编写flume启动脚本

1）编写logserver_startflume.sh脚本

#!/bin/bash #JAVA HOME路径 export JAVA_HOME=/home/super/software/jdk/jdk1.7.0_80 #日志服务器序号id(需要修改) id=0 #日志服务器总数量 servertotal=10 #Flume路径（需要修改） FLUME_HOME=/home/super/software/apache-flume-1.6.0-bin #按天轮询启动Flume a=`date +%d` b=$(($a%$servertotal)) echo $b if [ $b = $id ] ; then    nohup ${FLUME_HOME}/bin/flume-ng agent -n logserver -f ${FLUME_HOME}/logserver.conf &    sleep 10    count=`ps -ef |grep "Application" |grep -v "grep" |wc -l`    if [ 0 == $count ] ; then           sleep 60           nohup ${FLUME_HOME}/bin/flume-ng agent -n logserver -f ${FLUME_HOME}/logserver.conf &    else           echo "Flume Start Succses"    fi else    echo "No Need To Start" fi

注意：

1. 脚本中10台机器的id分别为0 到 9 ，不能重复！

2. 脚本中JAVA_HOME和FLUME_HOME路径根据环境进行配置

 

3. 编写flume停止脚本

1）编写logserver_stopflume.sh脚本

#!/bin/sh   #FLUME进程名 NAME=Application echo $NAME ID=`ps -ef | grep "$NAME" | grep -v "$0" | grep -v "grep" | awk '{print $2}'`    echo $ID    for id in $ID    do      kill -9 $id      echo "Kill Flume Process $id"    done    sleep 10       count=`ps -ef |grep "$NAME" |grep -v "grep" |wc -l`       #echo $count       if [ 0 != $count ];then         ID=`ps -ef | grep "$NAME" | grep -v "$0" | grep -v "grep" | awk '{print $2}'`         echo $ID         for id in $ID         do             kill -9 $id             echo "Kill Flume Process $id"         done       fi

 

 

4.配置定时启动脚本任务

1) 执行crontab -e命令，进入crontab定时配置文件中，添加内容

50 15* * * /home/super/software/apache-flume-1.6.0-bin/logserver_startflume.sh 57 15* * * /home/super/software/apache-flume-1.6.0-bin/logserver_stopflume.sh

注意：

1. 基本格式为：* * * * * command

分时 日月 周命令 

2. 脚本的路径应为绝对路径！

 

3 收集服务器相关配置

1、编写flume收集日志配置

vim logreceiver.conf

logreceiver.sources = r1 logreceiver.sinks = k1 logreceiver.channels = c1   #source配置信息 logreceiver.sources.r1.type = avro #出口审计检测引擎服务器IP地址 logreceiver.sources.r1.bind = 10.34.1.118 logreceiver.sources.r1.port = 44444   #sink配置信息 #file_roll表示将数据存入本地文件系统 logreceiver.sinks.k1.type = file_roll #出口审计检测引擎服务器日志存放目录 logreceiver.sinks.k1.sink.directory =/home/audit/logs/ logreceiver.sinks.k1.sink.rollInterval = 0   #channel配置信息 logreceiver.channels.c1.type = memory logreceiver.channels.c1.capacity = 1000 logreceiver.channels.c1.transactionCapacity = 100   #将source和sink绑定至该channel上 logreceiver.sources.r1.channels = c1 logreceiver.sinks.k1.channel = c1

 

2、编写flume启动脚本

使用vim编辑logreceiver_startflume.sh脚本。

#!/bin/bash #JAVA HOME路径（根据情况需要修改） export JAVA_HOME=/home/super/software/jdk/jdk1.7.0_80 #Flume路径（根据情况需要修改） FLUME_HOME=/home/super/software/apache-flume-1.6.0-bin #按天轮询启动Flume nohup ${FLUME_HOME}/bin/flume-ng agent -n logserver -f ${FLUME_HOME}/logserver.conf & sleep 10 count=`ps -ef |grep "Application" |grep -v "grep" |wc -l` if [ 0 == $count ] ; then    sleep 60    nohup ${FLUME_HOME}/bin/flume-ng agent -n logserver -f ${FLUME_HOME}/logserver.conf & else    echo "Flume Start Succses" fi

注意：

1. 脚本中JAVA_HOME和FLUME_HOME路径根据环境进行配置

 

3. 编写flume关闭脚本

使用vim编辑logreceiver_stopflume.sh脚本。

#!/bin/sh #FLUME进程名 NAME=Application echo $NAME ID=`ps -ef | grep "$NAME" | grep -v "$0" | grep -v "grep" | awk '{print $2}'`    echo $ID    for id in $ID    do      kill -9 $id      echo "Kill Flume Process $id"    done    sleep 10       count=`ps -ef |grep "$NAME" |grep -v "grep" |wc -l`       #echo $count       if [ 0 != $count ];then         ID=`ps -ef | grep "$NAME" | grep -v "$0" | grep -v "grep" | awk '{print $2}'`         echo $ID         for id in $ID         do             kill -9 $id             echo "Kill Flume Process $id"         done       fi

 

4、配置定时启动脚本任务

2) 执行crontab -e命令，进入crontab定时配置文件中，添加内容

50 15 * * * /home/super/software/apache-flume-1.6.0-bin/logreceiver_startflume.sh 57 15 * * * /home/super/software/apache-flume-1.6.0-bin/logreceiver_stopflume.sh

注意：

1．基本格式为：* * * * * command

分时 日月 周命令 

2．脚本的路径应为绝对路径！