Flume基础篇——环境搭建

Flume基础篇——环境搭建

1. 环境需求
   flume已经发布1.9了，本文主要是基于1.8.0，可以通过官网直接下载，flume是使用java开发，因此需要安装java环境，flume-1.8 要求java1.8以上。安装包：apache-flume-1.8.0-bin，源码包：apache-flume-1.8.0-src
2. window安装步骤

• 下载apache-flume-1.8.0-bin，解压即可

• 环境变量配置（系统环境变量可以不配置）：
  添加环境变量 FLUME_HOME=D:\demo\flume\apache-flume-1.8.0-bin（根据实际地址改变）。
  添加到path=%FLUME_HOME%\bin;%FLUME_HOME%\conf

• 在apache-flume-1.8.0-bin\conf\flume-env.sh（一般有提供模板以.templete结尾）添加java环境变量：

#Enviroment variables can be set here.
export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_131

• 进入apache-flume-1.8.0-bin\bin，运行flume-ng version 查看配置是否成功，出现版本号即为成功。
  
• 在conf目录下新建example.conf(source、sink、channel的配置文件，配置见笔记“Flume conf配置”)

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141


# Describe the sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory =/demo/flume/result

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel=c1

• apache-flume-1.8.0-bin下运行命令bin\flume-ng agent -c conf -f conf\example.conf -n a1 -property flume.root.logger=INFO,console,启动未报错配置成功

3. Linux安装步骤与Window类似，这边不做重复介绍
4. 说明

• 启动命令说明:

bin\flume-ng agent -c conf -f conf\example.conf -n a1 -property flume.root.logger=INFO,console

命令需要根据具体目录而定，flume-ng存于bin目录下，-c 为指定conf目录， -f 指定配置文件 ,-n 指定配置文件中定义的agent ,-Dflume.root.logger=INFO,console配置日志级别为INFO以及控制台输出，日志采用的是log4j，也可以在conf目录下的log4j配置文件中修改。

• JVM参数调整:jvm参数可以在flume的基础配置文件conf下的flume-env.sh中修改，例如：

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

Flume-ng具体配置说明，将在后续说明。。。。