使用flume监控nginx日志并且提交到kafka里面

本当使用最新版本1.8.0

[TOC]

1 下载安装

官网地址:http://flume.apache.org/download.html

下载下来解压到指定目录

2 配置

2.1 设置java目录

进入flume目录/config，修改flume-env.sh.template为flume-env.sh

cp flume-env.sh.template flume-env.sh

然后编辑该文件

vim flume-env.sh
 
export JAVA_HOME=/data/install/jdk
export JAVA_OPTS="-Xms1000m -Xmx2000m -Dcom.sun.management.jmxremote"

2.2 添加监控的配置

创建一个文件，可以在任意目录，建议在conf目录，好找，这个配置是启动的参数带参数启动

touch monitor_nginx.conf

填写如下内容

# logser可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成
#我们看到每个key都是logger开头，其实这个只是一个服务名称，也可以自由更换
# sources可以看做是数据源头、channels是中间转存的渠道、sinks是数据后面的去向
# 因为只是取一个名字，我们可以任意定义名字，后面所有的key，都会加上这个名字
logser.sources = src_monitor_nginx
logser.sinks = kafka_monitor_nginx
logser.channels = ch_monitor_nginx
 
# source
# 源头类型是TAILDIR，就可以实时监控以追加形式写入文件的日志
logser.sources.src_monitor_nginx.type = TAILDIR
 
# positionFile记录所有监控的文件信息，是为了防止意外情况，需要停机，重启的时候不会重复发送配置文件，所以需要这样一个文件保存上次监控到的位置
logser.sources.src_monitor_nginx.positionFile = /data/program/flume-1.8.0/data/monitor/taildir_position.json
 
# 监控的文件组，这里可以监控多个文件组，每个文件组以空格相隔开
logser.sources.src_monitor_nginx.filegroups = f1
# 文件组包含的具体文件，也就是我们监控的文件，可以有多个目录，以空格分开，文件名可以用正则表达式，目录不允许用
logser.sources.src_monitor_nginx.filegroups.f1 = /data/nginx/logs/.*
 
#将绝对路径文件名附加到事件标题时使用的标题键
logser.sources.src_monitor_nginx.headers.f1.headerKey1 = headerKey1
logser.sources.src_monitor_nginx.headers.f1.headerKey2 = headerKey2
#是否添加存储绝对路径文件名的头文件
logser.sources.src_monitor_nginx.fileHeader = true
 
 
 
 
# channel
#事件存储在内存中的队列中，具有可配置的最大大小。对于需要更高吞吐量并准备在代理故障的情况下丢失暂存数据的流量来说，这是理想之选
#channel是事件在代理上进行的存储库。Source添加事件，Sink删除它。
logser.channels.ch_monitor_nginx.type = memory
#存储在内存中的最大日志数量
logser.channels.ch_monitor_nginx.capacity = 1000
#渠道将从一个渠道获得的最大事件数量或每个交易给予一个接收器的事件数量
logser.channels.ch_monitor_nginx.transactionCapacity = 100
 
# kfk sink
# 指定sink类型是Kafka，说明日志最后要发送到Kafka
logser.sinks.kafka_monitor_nginx.type = org.apache.flume.sink.kafka.KafkaSink
# Kafka 集群地址，以逗号分隔
logser.sinks.kafka_monitor_nginx.kafka.bootstrap.servers = 172.16.1.56:19092,172.16.1.57:19092,172.16.1.59:19092
#设置topic
logser.sinks.kafka_monitor_nginx.kafka.topic = nginx49
#这个是kafka的优化参数，批量发送的数据个数
logser.sinks.kafka_monitor_nginx.kafka.flumeBatchSize = 20
#消息确认模式
logser.sinks.kafka_monitor_nginx.kafka.producer.acks = 1
#延迟发送的时间，为了这个批次多发一点消息
logser.sinks.kafka_monitor_nginx.kafka.producer.linger.ms = 1
logser.sinks.kafka_monitor_nginx.kafka.producer.compression.type = snappy
 
 
 
 
# 绑定数据源并且发送至通道
logser.sources.src_monitor_nginx.channels = ch_monitor_nginx
logser.sinks.kafka_monitor_nginx.channel = ch_monitor_nginx
 

2.3 创建主题

进入到kafka/bin目录，执行脚本创建一个指定分区的主题，也可以不手工创建，程序创建会使用kafka配置文件中的配置分区数量

./kafka-topics.sh --create --zookeeper 172.16.1.56:2181,172.16.1.57:2181,172.16.1.59:2181 --partitions 3 --replication-factor 1 --topic nginx49

3 启动flume进程

进入flume目录

注意： 此处的参数 --name是指我们配置文件中指定的服务名称，也就是key的第一个单词

bin/flume-ng agent --conf /data/program/flume-1.8.0/conf/ --conf-file /data/program/flume-1.8.0/conf/monitor_nginx.conf --name logser -Dflume.root.logger=INFO,console &