idea的big data tool 连接不上HDFS所有问题汇总:

1.On Windows you should have HADOOP_HOME environment variable defined or Java property hadoop.home.dir. Please, refer to Hadoop Wiki for more details

解决方案:

idea的big data tool 连接不上HDFS所有问题汇总:_第1张图片

2.Unable to find native drivers in HADOOP_HOME. Please, refer to Hadoop Wiki for more details.

解决方案:

第一步:

在网上下载好hadoop的压缩包,解压在自己选定的目录

地址:https://archive.apache.org/dist/hadoop/common/

第二步:

idea的big data tool 连接不上HDFS所有问题汇总:_第2张图片

解压后打开目录,把原有的bin文件改名为bin_apk

第三步:

在如下链接中下载相对应的winutils包,下载好后把包下的bin文件复制到之前解压的hadoop文件下

GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase)

 并复制一份bin目录下的hadoop.dll放到C:\Windows\System32下。

idea的big data tool 连接不上HDFS所有问题汇总:_第3张图片

idea的big data tool 连接不上HDFS所有问题汇总:_第4张图片

第四步:

在hadoop的etc下的hadoop目录下的hadoop-env.cmd文档下配置

如何查询自己的jdk目录:执行java -verbose命令自行查询

使用命令

idea的big data tool 连接不上HDFS所有问题汇总:_第5张图片

第五步:

配置jdk和hadoop的环境变量:

如图所示:

配置HADOOP_HOME

idea的big data tool 连接不上HDFS所有问题汇总:_第6张图片

配置path:

 

idea的big data tool 连接不上HDFS所有问题汇总:_第7张图片

3.Operation category READ is not supported in state standby

idea的big data tool 连接不上HDFS所有问题汇总:_第8张图片

出现当前情况的意思是,你所连接的节点hdfs的那台机器是待机状态的,所以不支持,要在状态为active的节点中连接才会成功。

解决方案:

把ip地址改为Active的节点的ip地址就可以了

4.Timeout(10000) during refreshing connection on HDFS

一般出现这种情况是节点的防火墙没有关,在节点上把防火墙关了就可以了

systemctl stop firewalld 

5.连接成功:

      idea的big data tool 连接不上HDFS所有问题汇总:_第9张图片

 

你可能感兴趣的:(大数据学习,大数据)