flume 安装和使用教程

1.flume 需要Java1.7以上版本，然后需要配置好Java环境变量

 

2.下载软件。

到Flume官网上http://flume.apache.org/download.html下载软件包,

wget "http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz"

tar -zxvf apache-flume-1.6.0-bin.tar.gz

3.简单示例。

修改配置文件。

  cd conf/

cp cp flume-conf.properties.template test.conf  

输入内容vim test.conf

# 指定Agent的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # # # 指定Flume source(要监听的路径) a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /home/chao/txt # # # 指定Flume sink a1.sinks.k1.type = logger # # # 指定Flume channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # # # 绑定source和sink到channel上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

保存并退出

启动flume agent

bin/flume-ng agene --confconf--conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console

3.测试

写入内容。

vim 1.log

输入内容 this is a test 保存并退出。

 cp 1.log /home/chao/txt/

 

接着就可以在前一个终端看到刚刚采集的内容了,如下：

syslog数据测试。

root@m1:/home/hadoop# echo "hello idoall.orgsyslog"| nc localhost 5140

syslog数据到flume到kafka

配置文件。

单个source 多个sink。

Source类型。

 Channel 类型。

Sink类型：

配置

1.sinks.k1.sink.rollInterval = 0

每30秒滚动一次文件。指定0将禁用滚动，并导致将所有事件写入一个文件。

a1.sinks.k1.type = file_roll 写文件。

a1.sinks.k1.sink.directory = /home/chao/log文件路径

a1.sinks.k1.sink.rollInterval = 0 只写一个文件。