flume windows安装及读取日志

使用版本
flume1.9.0
http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

flume安装
flume环境准备
jdk 1.7+
jdk环境配置
解压flume到D盘根目录，添加系统环境变量 FLUME_HOME = D:\apache-flume-1.9.0-bin（flume所在目录）
Path添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;
进入flume中的conf文件夹，复制一份flume-env.sh.template文件，命名为flume-env.sh，修改java路径

export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_162

在conf目录下新增example.conf文件，将配置写入其中（也可以使用官方配置文件，官方配置文件flume读取数据源类型为netcat，数据源为 loaclhost:4444，这里我是指定文件夹读取日志数据）

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /test/flumeSpool 
a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1.sources.r1.type = spooldir,flume 读取的数据文件类型： spooldir = 指定文件，
a1.sources.r1.spoolDir = /test/flumeSpool 指定读取文件夹的路径
并在该路径下创建相应的文件夹。

修改log4j日志输出方式，修改confi目录下的flume.root.logger为

-flume.root.logger=INFO,console

在flume/conf目录下 shift + 右键 打开命令面板,输入命令启动flume

flume-ng agent --conf ../conf --conf-file example.conf --name a1

flume-ng agnet --conf "配置文件文件目录相对路径或绝对路径" --conf-file "配置文件" --name "配置文件里agent的名字"

往/test/flumeSpool文件夹中添加日志文件，注意，添加，不是新建

查看D:\apache-flume-1.9.0-bin\conf\logs文件夹内的日志

succeed.jpg

flume安装测试完成