flume安装配置

下载地址:http://www.apache.org/dist/flume/1.8.0/

apache-flume-1.8.0-bin.tar.gz

解压:tar -zxvf  apache-flume-1.8.0-bin.tar.gz -C opt

解压完进入到flume的conf 目录下创建一个a1.conf文件,

定义sources ,channels,sinks

flume安装配置_第1张图片

启动agent 

 ./bin/flume-ng agent -c conf -f conf/a1.conf -n a1 -Dflume.root.logger=INFO,console

启动一个窗口输入 telnet python05(主机名) 44444 就可以连上了 输入一些内容另一个页面就可以接受了


刚才是监控网络,现在监控文件操作

在新窗口创建一个测试目录a1.test

flume安装配置_第2张图片

修改刚才的a1.conf文件

flume安装配置_第3张图片

重新启动agent  

./bin/flume-ng agent -c conf -f conf/a1.conf -n a1 -Dflume.root.logger=INFO,console

测试目录里添加一些内容,刚才监控了这个文件,所有添加的内容会被收走

flume安装配置_第4张图片

监控目录操作

根目录下新建一个a1_test的目录测试

修改a1.conf文件

flume安装配置_第5张图片

启动 agent 

然后我们将刚才创建的a1.test文件放在a1_test目录中 我们就可以收集到a1.test里面的整体内容

flume安装配置_第6张图片

flume连接hdfs

在flume的conf 目录下直接cp a1.conf a4.conf, 修改参数如下:

flume安装配置_第7张图片

在flume目录下启动 

flume安装配置_第8张图片







你可能感兴趣的:(python)