用Fluentd实现收集日志到HDFS(上和下)

当td-agent与namenode在一台物理机上时可以正常运行,当不在一台物理机上时,报“Connection refused”错误。
接下来: td-agent与namenode是否必须在一台物理机上? 现在采用了append的方式,对于HDFS来说效率较低,可以设置一个中间节点,收集了其他节点的日志之后,汇总成大文件,然后上传到HDFS。 td-agent的配置文件格式。 File Input和WebHDFS Output的具体细节。

用Fluentd实现收集日志到HDFS(上)
http://www.itdadao.com/articles/c15a471553p0.html

用Fluentd实现收集日志到HDFS(下)
http://www.itdadao.com/articles/c15a471554p0.html

你可能感兴趣的:(用Fluentd实现收集日志到HDFS(上和下))