flume安装和avro场景

flume安装

官网：
  http://flume.apache.org/
安装包下载：
　http://www.apache.org/dyn/closer.cgi/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz
解压：
  tar xzvf apache-flume-1.5.0-bin.tar.gz
      *注:本猿解压的目录是apche/flume/

配置java
在文件conf/flume-env.sh中设置java环境变量
JAVA_HOME=/usr/lib/jvm/java-7-oracle

      *注:当然需要java安装在这个目录

验证是否安装成功
flume-1.5.0-bin/bin/flume-ng version

添加环境变量(方便使用)
export FLUME_HOME=/soft/apache/flume/apache-flume-1.5.0-bin
export PATH=$PATH:$FLUME_HOME/bin
      *注:使用vi ~/.bashrc  将上面两行添加到最后
      *注:. ~/.bashrc或者source ~/.bashrc理解生效

 

***************************************************************************************************************

Avro案例:

环境:
两台pc均安装flume(这里可以使用一台机器看效果，标注两台好理解一些)
假定ip分别为172.17.0.2、172.17.0.3
1.在172.17.0.2上添加agent a1配置文件flume-1.5.0-bin/conf/avro.conf
内容：
      a1.sources = r1
      a1.sinks = k1
      a1.channels = c1

      a1.sources.r1.bind = 172.17.0.2
      a1.sources.r1.port = 4141

      a1.sources.r1.type = avro
      a1.sinks.k1.type = logger
      a1.sources.r1.channels = c1
      a1.sinks.k1.channel = c1

      a1.channels.c1.type = memory


2.在172.17.0.2上启动agent a1
      flume-ng agent -c . -f $FLUME_HOME/conf/avro.conf -Dflume.root.logger=INFO,console -n a1 

3.在172.17.0.3使用avro-client发送文件(log.00是自己随意构造的文件)
      flume-ng avro-client -c . -H 172.17.0.2 -p 4141 -F log.00

4.可以在172.17.0.2的控制台看到log.00的内容