下载地址:http://www.apache.org/dist/flume/1.8.0/
apache-flume-1.8.0-bin.tar.gz
解压:tar -zxvf apache-flume-1.8.0-bin.tar.gz -C opt
解压完进入到flume的conf 目录下创建一个a1.conf文件,
定义sources ,channels,sinks
启动agent
./bin/flume-ng agent -c conf -f conf/a1.conf -n a1 -Dflume.root.logger=INFO,console
启动一个窗口输入 telnet python05(主机名) 44444 就可以连上了 输入一些内容另一个页面就可以接受了
刚才是监控网络,现在监控文件操作
在新窗口创建一个测试目录a1.test
修改刚才的a1.conf文件
重新启动agent
./bin/flume-ng agent -c conf -f conf/a1.conf -n a1 -Dflume.root.logger=INFO,console
测试目录里添加一些内容,刚才监控了这个文件,所有添加的内容会被收走
监控目录操作
根目录下新建一个a1_test的目录测试
修改a1.conf文件
启动 agent
然后我们将刚才创建的a1.test文件放在a1_test目录中 我们就可以收集到a1.test里面的整体内容
flume连接hdfs
在flume的conf 目录下直接cp a1.conf a4.conf, 修改参数如下:
在flume目录下启动