flume 中sink用hdfs sink报拒绝连接错误hdfs-io

项目场景:

提示:这里简述项目相关背景:

使用flume,用hdfs sink


问题描述

提示:这里描述项目中遇到的问题:
报错:

WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:454)] HDFS IO error
java.net.ConnectException: Call From hadoop102/192.168.xx.xxx to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

`
---



---

# 解决方案:
1.flume文件是直接复制的,老师可以允许我的不可以,配置本身没有错
2. jar包冲突问题,hadoop与flume中的guava存在版本冲突问题,删掉旧版本,复制新版本--重试无果
3. 看到这篇文章https://www.saoniuhuo.com/question/detail-1948150.html
怀疑hadoop中namenode端口号与flume中写的hdfs路径不匹配

果然不匹配!
我的namenode的端口是9820,老师用的是8020,我直接照抄的8020;
前者是普通集群中hdfs namenode 的端口号,后者是高可用集群中NameNode的RPC通信地址。
按照官方文档,ip地址后面跟的应该是namenode的端口号,故9820正确




你可能感兴趣的:(flume,hdfs,hadoop,flume)