使用cloudera的源来进行安装flume，使用的系统为CentOS 6.0，64位的系统。

1. 安装cloudear的源

a. 下载 

wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm -P /usr/local/src

b. 安装

yum localinstall --nogpgcheck /usr/local/src/cdh3-repository-1.0-1.noarch.rpm

c. 导入RPM-GPG-KEY

rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera 

d. 安装flume

yum install flume flume-master flume-node

会自动安装相关的依赖包，如果只作为node，可以只安装flume和flume-node而不安装flume-master

2. 创建配置

cloudera的软件包都使用alternatives来配置配置文件。

a. 复制配置文件

cp -r /etc/flume/conf.empty /etc/flume/conf.my_cluster

可以叫你想叫任何名字

b. 查看配置文件

alternatives --display flume-conf

c. 安装新的自定义配置

alternatives --install /etc/flume/conf flume-conf /etc/flume/conf.my_cluster 50

d. 确认安装

alternatives --display flume-conf
flume-conf - status is auto.
 link currently points to /etc/flume/conf.my_cluster
/etc/flume/conf.empty - priority 30
/etc/flume/conf.my_cluster - priority 50
Current `best' version is /etc/flume/conf.my_cluster.

配置文件目录/etc/flume/conf/会自动链接到我们制定的目录中/etc/flume/conf.my_cluster。

3. 修改配置文件

a. 所有节点设置master（多个master时）

   
   
   
   
    
    
    
    
    
  1. vi /etc/flume/conf/flume-site.xml  
    2. 
    
    
    
    
  2.   <property> 
    3. 
    
    
    
    
  3.     <name>flume.master.serversname> 
    4. 
    
    
    
    
  4.     <value>master01,master02,...value> 
    5. 
    
    
    
    
  5.     <description>This is the address for the config servers status  
    6. 
    
    
    
    
  6.     server (http)  
    7. 
    
    
    
    
  7.     description> 
    8. 
    
    
    
    
  8.   property> 
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10.   <property> 
    11. 
    
    
    
    
  11.     <name>flume.master.serveridname> 
    12. 
    
    
    
    
  12.     <value>idvalue> 
    13. 
    
    
    
    
  13.     <description>The unique identifier for a machine in a  
    14. 
    
    
    
    
  14.     Flume Master ensemble. Must be different on every  
    15. 
    
    
    
    
  15.     master instance.description> 
    16. 
    
    
    
    
  16.   property> 
    17.

flume.master.servers：用逗号分隔多个master地址列表

flume.master.serverid：master的唯一标识

b. 启动master节点

server flume-master start

chkconfig flume-master on

c. 在a步骤中设置了各个node节点的master后，可以启动node节点

service flume-node start

4. 检验flume

启动flume shell

flume shell

[flume (disconnected)] connect host

如果有修改过adminport或者reportport，可以使用

connect host[:adminport=35873[:reportport=45678]]

获得各个子节点的状态

flume test01.linuxjcq.com:35873:45678] getnodestatus

 

flume的所有节点的配置都可以通过flume shell完成，默认使用内存存储各个节点的配置信息，可以使用ZooKeeper保存所有节点的配置信息。