hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)

完成Hadoop环境搭建后,使用Hadoop shell命令时---上传本地文件到HDFS的目录下,出现如下报错:

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)_第1张图片

        通过查资料,应该是我多次执行NameNode格式化导致的(因为多次格式化namenode会造成namenode和datanodeclusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定

解决方案:

1、首先使用以下命令查看磁盘空间情况

hadoop dfsadmin -report

磁盘下的节点空间为0!怎么会出现这种情况?

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)_第2张图片

2、停止集群(切换到/sbin目录下),输入如下命令

./stop-all.sh

3、删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件件)下面的所有数据,我这里是如下路径

使用rm -rf /opt/hadoop2.7/tmp/*

3、重新格式化namenode(切换到hadoop目录下的sbin目录下)

hadoop namenode -format

4、重新启动hadoop集群(切换到hadoop目录下的sbin目录下)

./start-all.sh

(ps:注意检查相关文件的配置有没有出问题,这点很重要!!!) 

再输入hadoop dfsadmin -report命令查看,没问题了!

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)_第3张图片

文件上传成功!

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)_第4张图片

你可能感兴趣的:(大数据,hdfs,big,data)