flume 总结：日常数据采集中配置文件
文章目录
- 1. flume简介
- 1.1 工作流程
- 1.2 核心概念
- 1.3 数据类型
- 2. flume下载安装
- 2.1 下载
- 2.2 安装
- 3. 配置文件
- 3.1 常见的source
- 3.1.1 avro source
- 3.1.2 exec source
- 3.1.3 spooling-directory source
- 3.2 常见的channel
- 3.2.1 memory channel
- 3.3 常见的sink
- 3.3.1 logger sink
- 3.3.2 avro sink
- 3.3.3 file_roll sink
- 3.3.4 hdfs sink
- 3.3.5 hbase sink
- 4. 工作中的常用案例
- 4.1 spool--hdfs
- 4.2 tail--hdfs
- 4.3 tail--avro--hdfs
1. flume简介
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
1.1 工作流程
flume的结构主要分为三部分：source、channel以及sink.其中source为源头，负责采集日志；channel为通道，负责传输和暂时储存；sink为目的地，将采集到的日志保存起来。在真正日志采集的过程中，根据待采集日志的类型以及存储需求，选择相应的类型的source、channel和sink进行配置，从而将日志采集并且保存起来。
1.2 核心概念
- Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。
- Client生产数据，运行在一个独立的线程。
- Source从Client收集数据，传递给Channel。
- Sink从Channel收集数据，运行在一个独立线程。
- Channel连接 sources 和 sinks ，这个有点像一个队列。
- Events可以是日志记录、 avro 对象等。
1.3 数据类型
flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes，这也正是NB之处。
2. flume下载安装
2.1 下载
一般都是在清华大学开源软件镜像站下载，当然也可以去官网下载。
flume1.8.0 点击下载
2.2 安装
将下载好的安装包上传并解压，如果嫌每次启动麻烦可以将flume安装包/bin配置到环境变量。
安装完毕。
3. 配置文件
首先，查看官网给的文档（点击查看），根据自己的需求，去更改配置。
3.1 常见的source
3.1.1 avro source
avro source：可以监听和收集指定端口的日志，供级联agent的下一跳收集和接受日志，使用avro的source需要说明被监听的主机ip和端口号。
agent1.sources = r1
#描述source
agent1.sources.r1.type = avro (类型为avro source)
agent1.sources.r1.bind = 0.0.0.0 （指定监听的主机ip.本机是0.0.0.0.）
agent1.sources.r1.port = 4141 (指定监听的端口号)
3.1.2 exec source
exec source：可以通过指定的操作对日志进行读取，使用exec时需要指定shell命令，对日志进行读。
agent1.source = r2
#描述source
agent1.sources.r2.type = exec
agent1.sources.r2.command =tail -F /root/flume/log/event.txt (监听的文件的路径)
3.1.3 spooling-directory source
spooling-directory source：可以读取文件夹里的日志，使用时指定一个文件夹，可以读取该文件夹中的所有文件，当出现新文件时会读取该文件并获取数据.需要注意的是该文件夹中的文件在读取过程中不能修改，同时文件名也不能修改，也不具有监控子目录的功能。
agent1.sources = r3
#描述source
agent1.sources.r3.type = spooldir
agent1.sources.r3.spoolDir = /root/flume/log (监听的文件目录)
agent1.sources.r3.fileHeader = true (在event的Header中添加文件名)
3.2 常见的channel
3.2.1 memory channel
agent1.channels = c1
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 100000 (event条数)
agent1.channels.c1.transactionCapacity = 10000 (flume事务控制所需要的缓存容量10000条event)
3.3 常见的sink
3.3.1 logger sink
logger sink:将收集到的日志写到flume的log中。
3.3.2 avro sink
avro sink：可以将接受到的日志发送到指定端口，供级联agent的下一跳收集和接受日志，使用时需要指定目的ip和端口。
agent1.sinks = k1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = 0.0.0.0
agent1.sinks.k1.port = 4141
3.3.3 file_roll sink
file_roll：可以将一定时间内收集到的日志写到一个指定的文件中，具体过程为用户指定一个文件夹和一个周期，然后启动agent，这时该文件夹会产生一个文件将该周期内收集到的日志全部写进该文件内，直到下一个周期再次产生一个新文件继续写入，以此类推，周而复始。
agent1.sinks=k2
agent1.sinks.k2.type = file_roll
agent1.sinks.k2.sink.directory=/root/flumelog (指定文件所在目录的路径)
3.3.4 hdfs sink
hdfs sink：与file roll有些类似，都是将收集到的日志写入到新创建的文件中保存起来，但区别是file roll的文件存储路径为系统的本地路径，而hdfs的存储路径为分布式的文件系统hdfs的路径，同时hdfs创建新文件的周期可以是时间，也可以是文件的大小，还可以是采集日志的条数。
agent1.sinks=k3
# 配置sink组件
agent1.sinks.k3.type = hdfs
agent1.sinks.k3.hdfs.path =hdfs://master/access_log/%y-%m-%d/%H-%M
agent1.sinks.k3.hdfs.filePrefix = app_log
agent1.sinks.k3.hdfs.fileSuffix = .log
agent1.sinks.k3.hdfs.batchSize= 100
agent1.sinks.k3.hdfs.fileType = DataStream
agent1.sinks.k3.hdfs.writeFormat =Text
## roll：滚动切换：控制写文件的切换规则
agent1.sinks.k3.hdfs.rollSize = 512000 (按文件体积（字节）来切)
agent1.sinks.k3.hdfs.rollCount = 1000000 (按event条数切)
agent1.sinks.k3.hdfs.rollInterval = 60 (按时间间隔切换文件)
## 控制生成目录的规则
agent1.sinks.k3.hdfs.round = true
agent1.sinks.k3.hdfs.roundValue = 10
agent1.sinks.k3.hdfs.roundUnit = minute
agent1.sinks.k3.hdfs.useLocalTimeStamp = true
3.3.5 hbase sink
hbase sink：hbase是一种数据库，可以储存日志，使用时需要指定存储日志的表名和列族名，然后agent就可以将收集到的日志逐条插入到数据库中。
agent1.sinks = k4
agent1.sinks.k4.type = hbase
agent1.sinks.k4.table = user_info
agent1.sinks.k4.columnFamily=base_info
agent1.sinks.k4.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
4. 工作中的常用案例
bin/flume-ng agent -c conf -f conf/avro-m-log.conf -n a1 -Dflume.root.logger=INFO,console
可以进行测试，将日志输出到控制台，便于调试。
4.1 spool–hdfs
从服务器采集日志，下沉到hdfs：
#定义三大组件的名称
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1
# 配置source组件
ag1.sources.source1.type = spooldir
ag1.sources.source1.spoolDir = /root/log/
ag1.sources.source1.fileSuffix=.FINISHED
ag1.sources.source1.deserializer.maxLineLength=5120
# 配置sink组件
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://master/access_log/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = app_log
ag1.sinks.sink1.hdfs.fileSuffix = .log
ag1.sinks.sink1.hdfs.batchSize= 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeFormat =Text
## roll：滚动切换：控制写文件的切换规则
ag1.sinks.sink1.hdfs.rollSize = 512000 ## 按文件体积（字节）来切
ag1.sinks.sink1.hdfs.rollCount = 1000000 ## 按event条数切
ag1.sinks.sink1.hdfs.rollInterval = 60 ## 按时间间隔切换文件
## 控制生成目录的规则
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundValue = 10
ag1.sinks.sink1.hdfs.roundUnit = minute
ag1.sinks.sink1.hdfs.useLocalTimeStamp = true
# channel组件配置
ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity = 500000 ## event条数
ag1.channels.channel1.transactionCapacity = 600 ##flume事务控制所需要的缓存容量600条event
# 绑定source、channel和sink之间的连接
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1
4.2 tail–hdfs
用tail命令获取数据，下沉到hdfs：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/app_weichat_login.log
# Describe the sink
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path =hdfs://master/app_weichat_login_log/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = weichat_log
agent1.sinks.sink1.hdfs.fileSuffix = .dat
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 100
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 1
agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
4.3 tail–avro–hdfs
从tail命令获取数据发送到avro端口，另一个节点可配置一个avro源来中继数据，发送外部存储：
tail-avro.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/log/access.log
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hdp-05
a1.sinks.k1.port = 4141
a1.sinks.k1.batch-size = 2
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
avro-hdfs.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
##source中的avro组件是一个接收者服务
a1.sources.r1.type = avro
a1.sources.r1.bind = hdp-05
a1.sources.r1.port = 4141
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/taildata/%y-%m-%d/
a1.sinks.k1.hdfs.filePrefix = tail-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 24
a1.sinks.k1.hdfs.roundUnit = hour
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 50
a1.sinks.k1.hdfs.batchSize = 10
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
发送数据：
$ bin/flume-ng avro-client -H localhost -p 4141 -F /usr/logs/log.10