flume日志采集方案

1、去官网下载flume.tar包,解压。

报:tar: apache-flume-1.8.0-bin/docs/team-list.html:时间戳 2017-09-15 20:47:53 是未来的 1708496.58232717 秒之后

顺手改下日期吧。 date -s "2019-08-27 19:58"。记得要加引号,不然报: date: 参数"19:58" 缺少前导的"+";
2、添加到环境变量中
 

        export FLUME_HOME=/home/flume
        export PATH=$PATH:$FLUME_HOME/bin
        export JAVA_HOME=/opt/jdk     -- 添加JAVA_HOME
    修改配置文件
        cp flume-env.sh.template flume-env.sh


3、启动 :  ./bin/flume-ng agent -c conf -n a1 -f conf/agent.conf -Dflume.root.logger=INFO,console
错误1:

Info: Sourcing environment configuration script /root/flume/conf/flume-env.sh
Warning: JAVA_HOME is not set!
Info: Including Hive libraries found via () for Hive access
        原因:后面的参数conf文件路径错误。

错误2:

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/flume/node/Application : Unsupported major.minor version 52.0
      原因:jdk版本有问题,安装了1.8的(如果还不好,可能你本机装了hadoop其他组件,在ng脚本里面增加东西)。

错误3:java.lang.NumberFormatException: For input string: "61111          #source监听的网络的port"
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)

等一系列的错误

原因:配置文件=后面的内容后不要有空格和注释。

4、成功之后安装nc发送消息,可以在日志里看到了。

你可能感兴趣的:(linux,java)