本地使用HDFS-API连接远程Hadoop报错

背景

本地使用HDFS-API访问远程Hadoop的时候报错:(如:执行fileSystem.copyFromLocalFile(src, dst)时)

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

环境

  • 本地开发环境:Windows10 + IDEA +Maven
  • 服务器:京东云主机 + CentOS7.2 + Hadoop单机

解决办法

1、代码修改

//TODO Configuration配置参数:dfs.client.use.datanode.hostname
Configuration configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");

2、集群配置修改**(修改后重启Hadoop)**


<property>
    <name>dfs.datanode.use.datanode.hostnamename>
    <value>truevalue>
property>

如小伙伴们遇到相同的问题,可以参考!谢谢!

你可能感兴趣的:(Hadoop)