hdfs客户端上传文件追加出现的问题:

问题一

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):failed to create file

解决方案:

配置文件中:hdfs-site.xml
<property>  
        <name>dfs.support.appendname>  
        <value>truevalue>  
property> 

也有可能是你创建文件的流没有关闭写成fs.create(path).close(),然后在fs.append(path)

问题二

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.RecoveryInProgressException): Recovery in progress,

如果复制因子在我们的代码中设置为1,则附加操作通常会更好。只需检查您正在使用的复制因子。出现此错误是因为有可能块的副本可能具有不同的生成标记值。

解决方法:将dfs.replication设置为1

你可能感兴趣的:(hadoop)